關勝被降，宋江表示了對他的欣賞，並且表達了希望他能加入梁山軍的願望。關勝想到了宋江先前的表現，認為宋江是一個有膽識而又重義氣的人物，於是便順其自然的歸順了梁山軍，此後為宋江鞍前馬後。

關勝是三國名將關羽的嫡系子孫，長相與祖上關羽頗為相似，使一口青龍偃月刀，有萬夫不當之勇，人稱大刀。他雖熟讀兵書，深通武藝，卻僅擔任蒲東巡檢，始終屈居下僚。宋江回抵梁山後，在山下與關勝對陣，並對眾將盛讚關勝“將軍英雄，名不虛傳”。關勝獨戰林沖、秦明，漸漸有所不敵。宋江愛惜人才想收關勝為山寨頭領，擔心關勝陣亡下令鳴金收兵。後來，呼延灼詐降關勝，誘關勝劫寨，將他活捉。關勝被梁山軍用撓鉤活捉，宣贊、郝思文也相繼被擒。宋江親解其縛，拜倒請罪。呼延灼也賠禮不已。關勝見宋江等人義氣深重，遂與宣贊、郝思文一同投降梁山。

宋江收兵的目的是希望收服關勝：“吾看關勝英勇之將，世本忠臣，乃祖為神，若得此人上山，宋江情願讓位。”宋江的話，反映出江湖好漢對關羽的崇拜，愛屋及烏，對大刀關勝也產生了連帶感情。宋江說他情願讓位，自然是誇大其詞，因為等關勝被擒上山後，宋江壓根兒就沒提這個話茬。但關羽以忠勇為廟堂、江湖所崇拜，如能裹挾到他的後人上梁山，無疑可以提高梁山的威望。在宋江的精心安排下，降將呼延灼詐降關勝，聲稱宋江非常渴望脫離黑道，特來派他暗中聯絡關勝，與宋江裡應外合破了梁山，拿住林沖等人，作為投降朝廷的禮物。這條計策其實呼延灼已經用過，之前他曾利用與慕容知府的交情，打破了青州城。可惜關勝既不瞭解以前的戰情，又犯了急功冒進之錯，對呼延灼的詐降渾然不覺，結果中伏被擒，副將郝思文、宣瓚也為扈三娘、秦明活捉，一萬五千精兵全部覆滅。

在關勝面前，宋江並沒有耍勝利者的姿態。他親自給關勝鬆了綁繩，把關大刀扶到正中交椅上，納頭便拜，叩首伏罪，說道：“亡命狂徒，冒犯虎威，望乞恕罪。”在兩軍對陣時，關勝的叫罵義正詞嚴:“水泊草寇，汝等怎敢揹負朝廷！”被俘虜後，面對宋江恩威並施的架勢，“關勝連忙答禮，閉口無言，手腳無措”。在關勝的意識裡，此次被俘肯定難逃一死，不料宋江卻拜伏到腳下，請求他入夥。驚訝之餘，作為主將的關勝居然問郝思文、宣瓚：“我們被擒在此，所事若何？”郝思文、宣瓚又把球踢給了關勝：“並聽將令。”關勝只得說：“無面還京，俺三人願早賜一死！”關勝求死求得很勉強，已全然無討伐時“天兵到此，尚然抗拒，巧言令色，怎敢瞞吾！若不下馬受降，著你粉骨碎身”的英雄氣概。

宋江非常清楚關勝的想法，就給了他一個臺階：“何故發此言?將軍倘蒙不棄微賤，一同替天行道。若是不肯，不敢苦留，只今便送回京。”此時關勝還能回去嗎？蔡京親自把他一個小小的蒲東巡檢司，提拔成為統領萬餘鐵騎的領兵指揮使，而他又在蔡京面前信誓旦旦地要踏平梁山，如今全軍覆滅不說，還成了人家的階下囚。敗軍之將既不敢承擔敗責，又不敢面對就義之戮，關勝只能順水推舟地投降：“人稱忠義宋公明，話不虛傳。今日我等有家難奔，有國難投，願在帳下，為一小卒。”