四行倉庫的八百壯士在奉命撤離進入租界區後，租界當局突然變卦，不再遵守雙方已經達成的承諾，八百壯士被收繳了武器，直接拉到了孤軍營。

剛進到孤軍營的時候，八百壯士的吃飯穿衣都是由各界商會捐贈，到了後來捐贈越來越少，已經到了吃不上飯的地步，租界當局才開始提供相關款項，據謝晉元親筆彙報中，顯示孤軍營人數總共362名，國民政府發的伙食費摺合每人每天才0.41元，這個標準可是當時八路軍還要少了50%，海外各界給八百壯士的捐款也都被租界當局剋扣。由於這些士兵們的伙食太差，一些日偽漢奸造謠汙衊說是長官剋扣了，還有四個傢伙經不起誘惑成了敗類，殺害了謝晉元。當然這四個敗類最終也都被處決了。

一直到了太平洋戰爭爆發，八百壯士中有一部分被日寇拉去南洋做苦工，有一部分留下來的也都被分配到各處去做苦工，不過經常有成功逃出來的，最大的一次是一百多人的一次暴動，搶了日本看守十幾條槍，日寇開始瘋狂的追剿，這一百多人裡有82個成功跑到了新四軍的游擊區被新四軍解救。

抗戰勝利後，大部分八百壯士都過得很慘，國民政府雖然發放了撫卹金，但是隨著貨幣貶值和物價飛漲，很多人又不得不去做苦工生存。在這裡值得一提的是，謝晉元的夫人凌維誠領到了國民政府的撫卹金後，一半買了幾畝薄地給謝家老人養老維持生活，一半蓋了些房子收留這些生活落魄孤軍將士。

解放後，凌維誠一家和部分孤軍的生活得到黨和政府的照顧，現在住的房子是陳毅市長親自特批的。她被安排到幼兒園工作，1957年擔任虹口區政協委員，文革時被誣陷為‘內定特嫌’，多次抄家被鬥，謝晉元的許多遺物和照片都失散不存，期間大兒子病死。打倒四人幫後，生活才真正安寧。