1959年8月16日，廬山會議結束。彭老總從芬蘭別墅出來後，隨即乘車到達九江機場。當時，返程的人看到彭老總來了，都小心翼翼地迴避著，避免與他同乘一架飛機。

當張愛萍上將察覺到了這一點之後，便毫無顧忌地跟隨彭老總一行人登上了舷梯。在1988年的時候，當張愛萍上將在回憶當年的情景時，還心有感觸地說：“我心裡敬重彭老總，機艙裡的乘客稀稀疏疏。彭老總視若無睹，一言不發，回到北京。”

1958年月末到9月中旬，在中央軍委擴大會議上。從紅軍到八路軍，從解放軍到志願軍，上千名肩綴閃閃將星的與會者，有幾個不曾在彭老總麾下打過仗，又有誰曾見到過彭老總“反黨反革命”。當時，人人都聽得目瞪口呆，有人甚至懷疑自己的耳朵出了毛病。

9月12日，軍委擴大會議結束後，彭老總回到他的住所，中南海永福堂，他看到妻子浦安修低著頭，坐在桌子旁邊，眼圈紅腫。見彭老總進來了，浦安修埋怨道：“你是管軍事的，為什麼要去管經濟方面的事情呢？”彭老總沒有回答她。

幾天以後，陳老總專門來看望彭老總。自從廬山會議後，陳老總是第一個來看望彭老總的領導幹部。陳老總的到來，也讓彭老總感覺到了一絲溫暖，這是一位老革命、老戰友給予的一種關心。

1959年9月30日，也就是在共和國誕生10週年的前夕。彭老總在前幾日，就早已和工作人員一起收拾好了東西。屋內的一切器具如數上交，嶄新的蔚藍色元帥服上交，狐皮軍大衣、綠呢軍服上交。還有畢生征戰的榮譽，一枚枚金光閃耀的功勳章上交。只留下20餘箱書，和幾件換洗的衣服，以及幾樣隨身物品。

其實，即使像彭老總這種久經沙場，歷經戰火錘鍊出來的錚錚鐵骨，也有柔情的一面。因此，在臨走的那一刻，彭老總還是有幾件東西，深深地牽繫著他的情感，使得他依依不捨。

那就是一枚中央蘇區頒發的紅星獎章，還有就是，從紅軍時期分給他的伙食尾子中積攢下來，一直儲存至今的8塊銀元，一支佩戴多年的左輪手槍，還有一包歷史材料。

不一會兒，一輛汽車直接駛入西郊，那裡將是彭老總的一處新住處，頤和園的掛甲屯的吳家花園。當時的吳家花園，到處都是斷牆殘瓦，十分荒涼寂寞。

歷史是在曲折中行進的，1959年，風雲突變，從此以後，彭老總遠離廟堂，閒居在吳家花園。後來，彭老總病重即將去世前，他還曾對自己的侄女彭剛說：自己死後，將他的骨灰拿去吳家花園做肥料。