建武元年（25年），劉秀建立東漢，嚴光於是隱名換姓，隱居在桐廬富春江畔，每日垂釣，後此地為桐廬嚴子陵釣臺。劉秀思賢念舊，就下令按照嚴光的形貌在全國查訪他。齊地報稱有一男子披著羊裘在澤中垂釣，劉秀懷疑那就是嚴光，即遣使備置安車、玄纁，三聘而始至京都洛陽。

口授說：“君房先生：官位到了三公，很好。懷著仁心輔助仁義天下都高興，拍馬屁看人臉色辦事可就要身首異處了。”侯霸收到信看過，封好了再上奏劉秀。

劉秀笑著說：“這狂傢伙還是老樣子。”當天就親自來到嚴光居住的館舍，嚴光睡著不起來，劉秀就進了他的臥室，摸著嚴光的腹部說：“唉呀！子陵，就不能相幫著做點事嗎？”

嚴光又睡著不講話，過了好一會兒，才睜開眼睛，看了好一會，說：“過去唐堯那樣顯著的品德，巢父、許由那樣的人聽說要授給官職尚且去洗耳朵。讀書人本各有志，何以要到強迫人家做官的地步？”劉秀說：“子陵，我竟然不能使你作出讓步？”於是便上車，嘆息著離開了。

後來，劉秀又請嚴光到宮裡去，談說過去的交往舊事，兩人在一起相處好多天。一次，劉秀隨意地問嚴光：“我比過去怎麼樣？”嚴光回答說：“陛下比過去稍稍有點變化。”說完話便睡在一起。嚴光睡熟了把腳壓在劉秀的肚子上。

第二天，太史奏告，有客星衝犯了帝座，很厲害。劉秀笑著說：“我的老朋友嚴子陵與我睡在一起罷了。”後授諫議大夫，嚴光不肯屈意接受，於是歸隱富春山（今浙江省桐廬縣境內）耕讀垂釣，後人把他垂釣的地方命名為嚴陵瀨。

建武十七年（41年），朝廷一次徵召他，嚴光仍不就。嚴光八十歲時，在家中去世。劉秀倍感哀傷，詔郡縣賜錢百萬、谷千斛安葬 ，墓在陳山（客星山）。