1907年夏,在任湖廣總督19年後,張之洞奉旨進京,離開武漢。這時,他的門生、部下紛紛在武漢為他興建紀念性樓堂,追憶他的功績。軍界人士籌款在武昌賓陽門內蛇山上修建抱冰堂,學界人士籌款在黃鴣山修建風度樓。張之洞在北京聽說後,立即發電報制止:



　　昨閱漢口各報,見有各學堂師生及各營將佐弁兵,建造屋宇,以備安設本閣部堂石像、銅像之事,不勝驚異。本閣部堂治鄂有年,並無功德及民,且因同心難得,事機多阻,往往志有餘而力不逮,所能辦到者,不過意中十分之二三耳。抱疚之處,不可殫述。各學、各營此舉,徒增懊歉。嘗考欒公立社,張詠畫像,此亦古人所有; 但或出於鄉民不約之同情,或出於本官去後之思慕。候他年本閣部堂罷官去鄂以後,譭譽祝詛,一切聽士民所為。若此時為之,則以俗吏相待,不以君子相期,萬萬不可!該公所、該處,迅即傳知遵照,將一切興作停止。點綴名勝,眺覽江山,大是佳事,何以專為區區一迂儒病翁乎?

　　然而,一些人並未領會張之洞的本意,依舊將紀念樓堂建成。張之洞聽說後,又致電湖廣新總督陳夔龍:“黃鵠山上新建之樓,宜名‘奧略樓’,取晉劉弘傳‘恢弘奧略,鎮綏南海’語意。 此樓關係全省形勢,不可一人專之,務宜改換匾額,鄙人即當書寄。”雖然紀念他的樓已經建成,但張之洞仍然堅持“不可一人專之”,堅決要求將宣揚自己的樓名“風度樓”改為“奧略樓”,併為之親題匾額。

　　見張之洞不願為自己建紀念性樓堂,有的人又打起了別的主意。

　　有個叫梁節庵的部下,專好投機鑽營,巴結上司。他聯絡了一些人,又策劃在武昌洪山卓刀泉關帝廟舊址上為張之洞建生祠,並將這一訊息電告張之洞。按照慣例,建生祠是為活著的人建立祠廟,加以奉祀。這是官員顯身揚名的大好機會。有人以此為莫大的榮耀,而張之洞卻對此嗤之以鼻。他電告梁節庵等人:“卓刀泉為明魏忠賢生祠故基,忠賢事敗,拆去生祠,改建關帝廟;今建予生祠於上,是視我為魏忠賢也。予教育鄂士十餘年,何其不學,以至於此。速急銷弭此舉,勿為天下笑。” 張之洞鄙視魏忠賢那樣的大權奸,更不願步其後塵,在他的生祠舊址上建起宣揚自己的生祠。

為了紀念張之洞在湖北的功績，張之洞的學生和部下們決定為他修建祠堂和樓閣。其中軍界計劃在武昌賓陽門內蛇山建抱冰堂（張之洞自號抱冰老人），學界則準備在黃鵠山上建造風度樓。