1946年6月底，解放戰爭全面爆發，謝祥軍出任華中野戰軍第十縱隊司令員一職。之後，謝祥軍帶領十縱參加了蘇中作戰，獲得七戰七捷，共殲敵5萬餘人。但在其他幾個方向上，我軍卻連遭挫折。一直到9月，我軍手中僅剩下了漣水、阜寧、鹽城、沐陽這四個縣城。

隨後，敵軍從南北兩線對我軍展開包圍之勢，後又採取“避實擊虛”的方陣，在各方向輪番進攻，想要徹底消滅我軍主力。

1946年10月，爆發了漣水保衛戰。面對敵軍的猛烈進攻，謝祥軍帶領十縱駐守漣水縣城，戰鬥持續到第15天時，敵軍開始慢慢逼近十縱指揮隊，防守於指揮部前線的84團在團政委孫海光的帶領下，直接衝上去，與敵人展開肉搏。

而此時，司令員謝祥軍衝出工事，用望遠鏡觀察敵情，但不幸被敵軍狙擊手擊中腹部。隨後，十縱政治部主任孫克驥接過指揮大權，謝祥軍則被緊急送到最近的野戰醫院。儘管野戰醫院對他進行的拼命搶救，但謝祥軍最終因為傷勢過重而壯烈犧牲。