1937年8月，51師、58師編成第74軍。隨後五十一師開赴上海，參加著名的“八一三”淞滬會戰，任第74軍第51師第153旅第305團上校團長。

1937年12月5日，張靈甫率305團投入南京保衛戰在淳化鎮附近構建新陣地，阻擊日軍掩護王耀武51師退入南京，雙方展開肉搏戰，因作戰有功，張靈甫被提升為153旅副旅長兼305團團長。

1938年，徐州會戰中，74軍51 師在三義集圍攻土肥原師團，張靈甫率305團與紀鴻儒的302團合兩團兵力進攻日軍陣地，因作戰有功擢升為51師153旅少將旅長。

1941年3月15日，張靈甫代理58師師長，指揮58師參加上高會戰，作為上高會戰的首功部隊74軍的核心部隊58師與餘程萬的57師一起與日軍血戰11日。

1941年9月26日，第二次長沙會戰，日軍調集第六師團，第三師團，以及第40師團圍攻74軍，在永安58師孤軍作戰，與日軍精銳的第三師團主力和第六師團一部混戰，58師在第二次長沙會戰中參戰官兵為官兵約一萬一千九百人，傷亡超過百分之四十，其中陣亡將近百分之十。

1942年6月，浙贛會戰，張靈甫率58師在衢州外圍與日軍血戰3日，擊斃敵86聯隊第3大隊隊長長島田仁次郎。

1944年5月，張靈甫升任74軍副軍長兼58師師長參加第四次長沙會戰。此後張靈甫一直在湘鄉至邵陽一線繼續與敵40師團鏖戰。

1945年4月，在湘西雪峰山戰役，張靈甫指揮74軍58師在鐵山與日軍主力血戰獲勝，獲三等寶鼎勳章，抗戰勝利後頒授勝利勳章，再獲頒忠勤勳章，獲得了美國金棕自由勳章。

張靈甫不僅多次抗擊日本人，還取得過多次勝利。