1937年3月，中央決定批判張國燾的錯誤路線，部分紅四方面軍的同志受到牽連，他們被審查，被批判，被關押，甚至可能會被處決。當時，個別人想借批判張國燾來全盤否定紅四方面軍的歷史功績。許世友正傷病纏身，臥床不起。他對此想不通，接受不了，苦悶至極。

窯洞外面，大大小小的鬥爭會一天比一天厲害，紅四方面軍各級幹部壓抑至極。他們一撥撥來到許世友住處，悲憤落淚，傷心欲絕，激動傾訴……當時許世友感受到的痛苦，遠甚於身上的戰傷！有人看見紅四方面軍幹部聚集到許世友身邊了，便斷定：他同情幷包庇張國燾，暗中反對黨中央，而且祕密組織反革命集團。

許世友立即被逮捕關押。一同被抓的另有不少紅四方面軍的軍師級幹部，他們都被關進一排牢洞裡。

放風時間到了，這些百戰餘生的指揮員終於相聚了。他們彼此一望，傷心難抑，有人禁不住痛哭……正在放風的許世友聽到哭聲，立刻朝哭者怒吼：哭什麼？紅四方面軍沒一個孬種！殺頭就殺頭，槍斃就槍斃，哭個屁，不準哭！

但是，許世友這種視死如歸的態度，在某些人眼裡，更像是“死不認罪，抗拒中央”。於是，守衛們先給許世友戴上一副手銬，但手銬根本拘不住他。守衛見許世友不但手勁兒大，腿腳更厲害，於是，又給他加了一套腳鐐。在被關押的所有幹部中，許世友唯一享受了“鐐銬雙全”的待遇。

戴著手銬腳鐐的許世友還是不安分，他在牢洞每天唱幾段京劇，《包公鍘》啊，《小放牛》啊。看守見一個重犯竟然整天樂呵呵的，就很生氣，罵他是個“托洛茨基分子”。許世友跟那看守打趣：“什麼？兔子吃雞？沒聽說過嘛。我告訴你，兔子從來不吃雞，狐狸才吃雞，不信你問問中央！”

在那些日子裡，許世友多次被拉到大會上批鬥，而臺下席地而坐的又都是他的老部下，是那些跟隨他出生人死的戰士……許世友在這個時候往往格外憤怒，身上的手銬腳鐐也被他掙得嘩嘩作響，幾乎斷裂掉。他破口大罵那些汙辱他及其部隊的人！臺下好多戰士聽了流淚，但不敢哭出聲來。

在決定許世友命運的那次會議上，有人建議，許世友態度太惡劣，氣焰太囂張，應該立刻執行槍決，否則不能教育受欺騙、受矇蔽的紅四方面軍部隊……當時多數人已經同意對許世友執行槍決了，但毛澤東否決了這個建議。

令許世友更加詫異的是，牢洞裡的他，竟然收到了毛澤東託人送來的一條哈德門香菸。這煙在當時的延安非常稀少，而且還是毛澤東所贈，這是何等珍貴！

其實，許世友的非常經歷與肝膽血性，早就引起毛澤東的關注。當時，徐向前剛剛到達延安，毛澤東立刻讓他去“看看許世友，代表中央做些工作”。

隔日，毛澤東親自來到牢洞，跟許世友談話。

這次談話，毛澤東和許世友都叼著哈德門香菸，你一支我一支，吸個不停。毛澤東嚴肅地給許世友講道理，反覆說明張國燾的錯誤所在，而許世友一言不發，靜靜地聽。他們面前飄著大團煙霧……

毛澤東看一時難以說服許世友，就婉轉地結束了這次談話。

兩天後，毛澤東又來了。戴著鐐銬的許世友被帶到他面前。毛澤東靜靜地看了許世友一會兒，忽然摘下軍帽，正聲道：“許世友同志，你們作戰勇敢，犧牲很大，非常辛苦。我向你表示敬意！”毛澤東竟然微微鞠了一躬。

許世友流下了眼淚。

許世友被釋放後，毛澤東親自安排他進入“抗大”學習，並給他設定一個職位：抗大校務部副部長，讓許世友半工半讀。

從那時起，許世友鐵了心跟隨主席。