諸葛亮離開隆中山輔佐劉備的第二年，即公元208年，襄陽便被曹操佔領了。早在公元197年諸葛亮定居隆中之前，他的叔父諸葛玄在世的時候，諸葛亮的大姐已經嫁給了襄陽大族蒯祺。到隆中以後，二姐又嫁給了襄陽德高望重的大名士龐德公的兒子龐山民。諸葛亮離開隆中以後，只剩弟弟諸葛均留在那裡。不久，諸葛均離開了隆中。蜀漢建立後，諸葛均擔任了地位比較低的“長水校尉”(軍職，掌宿衛兵)。

諸葛亮一家離開隆中後，他住的竹籬草廬依舊儲存了下來。草廬旁有一口深五丈的水井，後來乾涸了。門前有一塊高地，有三間房屋面積那麼大，據說是諸葛亮的避暑臺。宅西面山臨水，有一個諸葛亮吟誦《梁父吟》的地方，叫樂山。諸葛亮一家離開隆中後，有一戶姓董的人家在草廬住過。後來這家人相繼死去，這裡就無人居住了。

諸葛亮離開隆中的時候，只是一個27歲的普通書生。他在輔佐劉備父子期間直到西晉統一全國為止，襄陽又被曹魏古領，視諸葛亮為仇敵，所以這期間諸葛亮隆中故居一直無人過問，更談不上立碣表間，建廟祭祀了。

公元234年，諸葛亮病死於北伐前線五丈原軍中。他的聰明才智和鞠躬盡瘁的獻身精神，受到了越來越多的人們的尊敬和推崇。蜀漢的大臣和廣大百姓紛紛上書要求為他立廟。當時劉禪只同意在漢中郡的沔陽為諸葛亮立廟。西晉統一全國後，晉武帝司馬炎屢次向臣下詢問關於諸葛亮其人其事。晉永興元年(304)，駐守襄陽的鎮南將軍劉弘來到隆中憑弔諸葛亮故宅，觸景生情，命隨他一起到隆中的鎮南參軍李興寫了一篇《祭諸葛丞相文》，這便是有史記載以來襄陽隆中第一塊紀念諸葛亮的碑文。這篇碑文是諸葛亮死後70年寫的，所以文中提到的諸葛亮故居只剩頹垣斷壁,成為“故墟”了。

公元361年，東晉史學家、荊州刺史別駕習鑿齒來到隆中，撰寫了一篇《諸葛武侯宅銘》。

《諸葛武侯宅銘》

達人有作，振此頹風，雕薄蔚採，鴟闌惟豐。

義範蒼生，道格時雍。自昔爰止，於焉龍盤。

躬耕西畝，永嘯東巒，跡逸中林，神凝巖端。

罔窺其奧，誰測斯歡？堂堂偉匠，婉翮陽朝。

傾巖搜寶，高羅九霄。慶雲集矣，鸞駕三招。

習鑿齒懷著無限崇敬的心情，讚揚了諸葛亮是“達人”(具有遠見卓識的人)、“偉匠”(偉大的人)。習鑿齒遊覽隆中，不僅興致勃勃地觀賞了諸葛亮當年“躬耕西畝，永嘯東巒。跡逸中林，神凝巖端”等勝蹟，而且還瞻仰了經過後人修葺的諸葛故宅。此時的諸葛故宅，不再是劉弘、李興到隆中時看到的“故墟”一片，而是面目一新,建築物上出現了“雕薄蔚採，鴟闌惟豐”(色彩斑爛，刻有鴟尾、鴟吻等兇禽圖案的裝飾物)，與當時盛行的廟宇無異，這是隆中最早的武侯祠記載。