1864年太平天國天京陷落時，幼天王洪天貴福被忠王李秀成、尊王劉慶漢率千餘人護衛，從天京出逃。

洪天貴福的出逃計劃是先去江西和侍王李世賢等回合，再進軍陝西，圖謀大業。

1864年七月十九日天京失守，幼天王洪天貴福在忠王李秀成、尊王劉慶漢等人的護衛出逃，但還沒有全部突圍的時候就被清軍發現，忠王李秀成斷後，尊王劉慶漢帶著洪天貴福繼續西逃。（李秀成最後被俘獲，處死）

七月二十九日，突圍部隊逃到了安徽廣德一帶，就地休息，並得到了駐守湖州的幹王洪仁玕、堵王黃文金的擁戴。當天就被迎入湖州。在眾人的商議下，決定先南下江西，和侍王李世賢、康王汪海洋匯合，再取道湖北，會合扶王陳得才大軍，侵擾荊襄，吸引清軍主力，取下西安，割據陝西。

八月四日，黃文金派弟弟昭王黃文英和首王範汝增、養王吉慶元等先護送幼天王回廣德，自己和輔王楊輔清留守湖州。但好景不長，洪仁玕等人還沒做好南下的準備，清軍就開始對湖州展開了強大的攻勢。

在艱難地撐了二十天之後，湖州已經成了座廢城，在清軍四面包圍之下，洪仁玕和黃文軍決定按計劃，棄城別走，先去廣德迎接洪天貴福。八月二十八日突圍，二十九日黃文金等人到達廣德，帶著洪天貴福連夜出逃安徽寧國縣，可道路被截，轉走浙江昌化。九月五號，黃文金因為在寧國之時得了炮傷，當天死於昌化白牛橋，劉慶漢、洪仁玕等繼續護送洪天貴福南下，途中遭遇重創，譽王李瑞生被俘，宗王譚乾元等投降清軍，十幾萬太平軍越打越少、越少士氣越低。十月初十到達江西石城的時候，人數僅剩不到一萬人，還沒從驚恐中回過神來的洪天貴福等人，在當晚就遭遇了清軍席寶田部的追趕，並爆發了石城之戰。

石城之戰中，尊王劉慶漢被俘，因傷勢過重而死，幹王洪仁玕被捕，並在一個月後在江西南昌被凌遲處死。而洪天貴福躲入山中，暫時逃過清軍的追捕。

據洪天貴福自己所說：他在山上藏了四天後，有一白衣老人給了他一塊麵餅，救了自己一命。可又硬撐了兩天後，實在擋不住飢餓的洪天貴福只好下山，並改名換姓，躲到了一家姓唐的人家。在唐家呆了四天後，洪天貴福剪了頭髮，漫無目的地上路，他根本不知道自己要去哪裡。

在路上流浪了幾天後，洪天貴福終於還是落到了清軍手裡，十月二十五日，洪天貴福被押入席寶田軍營，然後被押解到江西南昌，由南昌知府許本墉和沈葆楨審訊。十一月十八日，流浪了三個月，被關押了一個月的洪天貴福被綁縛市曹，處以凌遲之刑，年僅十六歲。