1942年，抗日戰爭已經進入相持階段，但也是抗戰最艱難的時期。在華北，日軍最高司令官，此時已經換成了岡村寧次，此人表面看上去是溫文爾雅，對下屬更是關心備至，但內心卻十分陰險，在指揮打仗的問題上，輕易不出手，一出手，就是極其兇殘。在他的指揮下，從5月1日開始，侵華日軍糾集日偽軍五萬餘人，在空軍的配合下，出動坦克、裝甲車幾百輛，對八路軍根據地發動了空前殘酷、空前野蠻的"鐵壁合圍"式的大掃蕩。

5月25日，八路軍總部在向山西省遼縣十字嶺轉移途中，遭遇日軍的圍牆襲擊，當時情況十分危急，為確保八路軍副總指揮彭德懷的安全，八路軍副參謀長左權，命令警衛部隊保護彭總轉移，他則留了下來，指揮八路軍總部機關和後勤人員轉移，在即將突出敵人包圍圈時，左權被被炮彈擊中頭部犧牲，血染太行，以身殉國。

左權將軍犧牲後，八路軍總部急需一名參謀長，於是，彭總向主席和軍委提出了三個接替人選，希望中央在他們三人中，選出一人，速到八路軍總部報到。這三人，分別是葉劍英，林總和滕代遠。對於這三個人選，主席先是請朱老總談談看法。朱老總說，葉劍英文韜武略，十分優秀，合適。林總是有名的戰將，也合適。滕代遠當時在太行山抗大總校擔任副校長兼副政委，雖然沒有領兵，但他是平江起義的主要領導人之一，當過紅三軍團的政委，1937年12月出任過軍委參謀長，也合適。

那麼派誰去好呢？主席考慮再三，指出，葉劍英和林總都不行。原因是，葉劍英時任軍委參謀長，對整體抗戰形勢掌握的透徹，軍委離不開他，如派他去，新來的軍委參謀長需要一定時間適應，不利於軍委做決策。林總雖然合適，但他剛從蘇聯回來，看上去是槍傷已經治好了，可身體還是很虛弱，八路軍總部一直在前線作戰，條件十分艱苦，他的身體狀況，不允許。

最終，主席拍板，讓滕代遠去接替左權的八路軍副參謀長一職。這一決定，讓彭總也十分高興，畢竟，兩人剛開始革命的時候，就在一起，是老戰友了，紅三軍團時期，還是一對好搭檔，時隔近十年兩人再次在一起並肩作戰，怎能讓彭總不高興。據瞭解，滕代遠來八路軍報到那天，彭總很早就站在院外，迎接這位老戰友。