需要指出的是，當霍光在朝廷上宣佈廢黜劉賀帝位時，劉賀是有向霍光進行反擊的。根據文獻記載，當時劉賀不斷地向霍光爭辯，並引用《孝經》裡的話“聞天子有爭臣七人，雖無道不失天下”，試圖以此來保全自己的皇位。

事實上，促使霍光下定決心廢黜劉賀的正是劉賀的反抗。漢昭帝駕崩後，霍光之所以選擇劉賀當皇帝，為的就是更好的操控他，以進一步獨攬大權。可是初登帝位的劉賀一點都不識趣，不僅不按霍光的意思辦事，還常常冒犯霍光的權威。

劉賀進京時帶了大批昌邑國的舊臣，入宮後就想方設法安排舊臣擔任各個要職的官員。但是霍光畢竟經營多年，權勢熏天，劉賀根基未穩，雖然名為皇帝，卻連未央宮的護衛都無從插手。

無奈之餘，劉賀居然著手調整宮廷禁衛兵馬，試圖控制上官太后的寢宮。這是霍光無法忍受的。更為致命的是，劉賀的舊部竟然謀劃清除霍光。事情敗露後，霍光自然予以堅決反擊。很快，劉賀的皇帝便當到頭了，而他從封國帶到京城的舊臣兩百餘人，也全部被誅殺。

劉賀即位27天就被廢，是成也霍光，敗也霍光。主要原因一是過早地觸及了霍光家族的利益，二是自身不檢點，讓霍光找到了藉口。史書有關廢黜場景的描述應該是這樣的：

那一天，劉賀一點也沒有發覺有什麼異常，帶著身邊的一幫奴僕又駕著九遊車，一大早就逛街去了。

文武大臣們得到通知，也是早早地聚集到了未央宮的大殿上。

霍光一看人來得差不多了，便首先站出來發言道：“諸位大人，請大家靜一靜。今天我召集大家來，主要是有一件事想和大家一起商議商議。大家這些天來，也是有目共睹的了。這昌邑王劉賀行徑昏亂，完全喪失了作為一個帝王應有的禮義。他在位二十七日以來，使者往來不斷，拿著旄節下命令給各官署徵調並索取物資，共一千一百二十次。他的這些行徑，恐將危及社稷，你們認為該怎麼辦？”

朝中的文武大臣們原本以為是來討論今年的鹽鐵政策修改一事的，如今卻聽霍光說出這種以下犯上的大事來，那不是明顯的要造反的節奏嗎？大漢朝成立以來，又有幾個造反成功的？不都是一個個落得滿門抄斬的下場的嗎？頓時一個個嚇得面面相覷，不敢說話。倘大的未央宮中鴉雀無聲，就是連一根針掉到地上的聲音也都聽得見。有幾個膽小鬼，竟然嚇得尿褲子了。

這時，侍御史嚴延年站了出來。嚴延年，東海下邳人。父為丞相掾，少學法律於丞相府。只見他大聲喝道：“大將軍，您這是想要幹什麼？！你私自召集大臣參加朝會，說是讓我們來討論今年的鹽鐵政策修改一事，實則以下犯上，想擅自廢立，這難道是一個臣子所應當做的嗎？”

他這一大聲喝道，頓時讓昌邑王劉賀一派的人有了主心骨，紛紛站出來指責霍光。“是啊，你是不是想謀逆？”

局面一度很是混亂，畢竟擅自廢立是一件很大的罪名，跟謀反罪並無多大的區別。所以，有些本來站在霍光一邊的人也猶豫不決起來，不知道要不要站出來挺霍光。因為這一旦失敗，那可是要抄家滅族的大罪啊！

但是，更多的人則是袖手旁觀，等待哪一派獲勝。因為畢竟這個昌邑王的所作所為，實在有失體統，侍候一個這樣的昏君，遲早有一天腦袋瓜子是怎麼掉的都不清楚。他們也巴不得有一個人站出來主持公道。

田延年打量了一下大殿裡的情況，頓時心中有數，知道自己該出面支援霍光了。

只見他站起來，向前跨了一大步，手按劍柄，衝著霍光厲聲喝道：“大司馬，我也來跟你理論理論！孝武皇帝駕崩前，把孤兒和天下一併託付給了大司馬，那是因為孝武皇帝相信大司馬忠正賢良，能夠保障劉氏大漢江山的安全。但現在先帝離去，新任的皇上行徑昏亂，以至群下鼎沸，社稷將傾，大司馬您的責任到哪裡去了？！而且，漢朝皇帝的諡號，常帶一個‘孝’字，就是要讓後世子孫，長久地保有天下，使宗廟血食延續不斷。如果因為皇帝不賢，而令大漢宗廟絕祀，大司馬您死後，有什麼面目去見當年託孤於您的先帝？今天您既然帶了個頭，把這事說開了，那很好。我們想知道您的打算。因為這事絕對不能夠再拖延下去了！如果群臣當中有膽敢不踴躍支持者，請讓我用這把劍斬了他！”說完，他就拔出那把閃著寒光的寶劍來。

田延年的這番慷慨陳辭，表面上是指責霍光，其實是在支援霍光的行動，同時也恫嚇群臣，誰要不聽霍光的，馬上就將被斬首。

昌邑王帶來的長樂衛尉安樂，已經聞訊趕來。他一見情況不妙，連忙拔出手中的劍，大聲喊道：“大膽！你們這是以下犯上，想要謀反！來人啦，把他們兩個給我拿下！”

“我看誰敢！”張安世一聲怒喝。“來人啦，把昌邑王的人全部給我拿下！”原來張安世悄悄地連夜把駐守霸上的重兵都調了進來，加上南北二軍原本就是範明友、鄧廣漢部屬，所以霍光早已輕易地解除了昌邑王帶來的警衛人馬，掌握了宮內的警衛。

安樂一看大勢不妙，只好把手中的劍一扔，乖乖就擒。與龔遂等人一起關入了監獄。

群臣們一看就架式，霍光一派明顯佔據了上風，馬上見風使舵，立即表示支援霍光。

邴吉站了出來說道：“願意聽從大司馬的吩咐。”

霍光一看自己的目的達到了，便道：“吩咐倒是不敢。不過，當年孝武皇帝將孤兒和天下一併託付給了我，我就不能不盡這一份心，而讓大漢的江山在我的手上丟掉。這昌邑王行徑昏亂，危及社稷的安全，完全喪失了一個帝王的資格，我建議將此事稟告孝昭皇后，廢掉劉賀讓他返回昌邑國。諸位覺得如何？”

這孝昭皇后也就是霍光的外孫女，這一層關係誰都明白。與其說是稟告孝昭皇后，還不是他自己說了算？群臣中雖然有人覺得不妥，但誰也不敢冒著被田延年砍頭的危險站出來。霍氏勢力在朝廷中已經是如日中天的了，連皇帝都敢說廢就廢，再加上執掌京城兵權的張安世也站到了他那一邊，我們就都一切順其自然吧，反正江山又不是咱家的。大家都抱著這種心態，此事就好辦了。

楊敞這時拿出來早已寫好的上書，道：“大司馬是當年孝武皇帝指定的託孤大臣，理當對大漢的江山負責。這昌邑王行徑昏亂，危及社稷的安全，完全喪失了一個帝王的資格，我等也是有目共睹。我已草擬一份給太后的上書，如果大家有附議的，就在後面簽字署名吧。”

這就是要拿實際行動表決心的了，那些表過態的官員們紛紛走了過來，在楊敞的上書後面署下了自己的名字。

霍光一看朝廷中的絕大部分官員都站了過來排隊署名，頓時滿意地笑了。

楊敞待眾大臣一一署完名之後，馬上持上書稟告孝昭皇后。

孝昭皇后上官氏早就接到自己外公送進來的訊息，這會兒看了楊敞呈上來的奏書後，豈有不依之理？馬上來到了未央宮的大殿上，靜候昌邑王劉賀的歸來。

昌邑王劉賀帶著那一幫奴僕駕著九遊車，大搖大擺地走進了未央宮。一踏進宮門，就發覺有點異常。守衛宮門的衛兵不再象以前那樣行禮，反而在他們一夥進入宮門的時候立刻就從四面八方圍了上來。

昌邑王劉賀大驚，呼道：“大膽！你們要造反嗎？”

話音未落，黃門令大聲喊道：“皇太后有懿旨，宣昌邑王劉賀覲見！”

連皇太后都來了，還要召見自己。此時，劉賀更加慌亂起來，以為是自己當初調戲上官氏的事發了，急忙問黃門令：“朕做錯了什麼了？現在皇太后也宣召朕！”

黃門令答道，“陛下自己進去不就知道了嗎？”

昌邑王劉賀入殿後，看到上官太后身披珠襦，盛裝坐於大殿之上，群臣表情肅穆，於是便匍匐跪拜。

安靜片刻，上官太后宣召劉賀伏前聽詔。

此時，霍光與群臣將聯名彈劾昌邑王的奏章交了上來。上官太后令尚書令當庭宣讀這一份奏章。

尚書令聽令，便從佇列中站了出來，從上官太后的手中接過大臣們聯名寫的奏章，開始朗聲宣讀起來：“丞相臣敞等昧死言皇太后陛下：孝昭皇帝早棄天下，遣使徵昌邑王典喪，服斬衰，無悲哀之心，廢禮誼，居道上不素食，使從官略女子載衣車，內所居傳舍。始至謁見，立為皇太子，常私買雞豚以食。受皇帝信璽、行璽大行前，就次，發璽不封。從官更持節引內昌邑從官、騶宰、官奴二百餘人，常與居禁闥內敖戲。為書曰：‘皇帝問侍中君卿：使中御府令高昌奉黃金千斤，賜君卿取十妻。’大行在前殿，發樂府樂器，引內昌邑樂人擊鼓，歌吹，作俳倡；召內泰壹、宗廟樂人，悉奏眾樂。駕法駕驅馳北宮、桂宮，弄彘，鬥虎。召皇太后御小馬車，使官奴騎乘，遊戲掖庭中。與孝昭皇帝宮人蒙等淫亂，詔掖庭令：‘敢洩言，腰斬！’……”

尚書令讀到此處，上官太后實在聽不下去了，用十分憤怒的聲音說道：“夠了！為人臣子，怎能悖亂如此！”

小姑娘聲音雖然不大，嚇得劉賀匍匐跪行到上官太后的跟前，想請求她的原諒。

尚書令頓了頓，接著讀道：“……取諸侯王、列侯、二千石綬及墨綬、黃綬以並佩昌邑郎官者免奴。發御府金錢、刀劍、玉器、採繒，賞賜所與遊戲者。與從官、官奴夜飲，湛沔於酒。獨夜設九賓溫室，延見姊夫昌邑關內侯。祖宗廟祠未舉，為璽書，使使者持節以三太牢祠昌邑哀王園廟，稱“嗣子皇帝”。受璽以來二十七日，使者旁午，持節詔諸官署徵發凡1127事。荒淫迷惑，失帝王禮誼，亂漢制度。臣敞等數進諫，不變更，日以益甚。恐危社稷，天下不安。臣敞等謹與博士議，皆曰：‘今陛下嗣孝昭皇帝后，行淫闢不軌。“五辟之屬，莫大不孝。”周襄王不能事母，《春秋》曰：“天王出居於鄭，”由不孝出之，絕之於天下也。宗廟重於君，陛下不可以承天序，奉祖宗廟，子萬姓，當廢！’臣請有司以一太牢具告祠高廟。”

憤怒未消的上官太后連考都沒有考慮，即刻說了一個字，就批准了大臣們的請求：“準！”

這句話說出口，跪在地上的劉賀就不是皇帝了，而是一個普通的罪王。

尚書令宣讀完畢，眾衛兵便一擁而上，將劉賀從昌邑帶過來的人全部綁了起來。

昌邑王劉賀一見，這才知道大勢已去。他直到這個時候，才想起早些天龔遂對自己的忠告，可惜事情已經太晚了，而且無法再挽回的了。自己確實是太心急了一些，急於讓昌邑的舊人取代朝中有實力的大臣，可是，事情才剛剛開始就已經結束了。早知道這樣，就應該在一登基的時候，就應該斬除霍光這個大權臣的。不過，他仍然不死心，在尚書令宣佈完他的“罪狀”之後他仍然不忘記替自己分辯道：“你們這是欲加之罪，何患無辭？朕受璽以來二十七日，使者旁午，持節詔諸官署徵發，凡一千一百二十七事。朕身為一個天子，任命朝中大臣，這些人持節詔諸官署徵發，難道全是些荒唐的事？好吧，朕再退一步，就算這些全是些荒唐的事，也全部都算到我頭上好了。朕聽說過如果天子有七個諍臣，即使無道也不會丟了天下。朕身邊的諍臣有郎中令龔遂、校尉王吉、文學光祿大夫夏侯勝、侍中傅嘉等人，又何止七個？如今，你們卻說朕行徑昏庸，將危及大漢的天下，是何道理？”

霍光沒有想到這劉賀居然還如此鑽牛角尖，提出這麼棘手的問題來，不過，現在朝中的局勢已經掌握在自己的手裡了，他直接避開了這個尖銳的問題，轉而十分傲慢地回答道：“皇太后已經下詔把你廢了，你已不再是我大漢的天子了，還是讓臣護送你回你原來的封地去吧。” 說完，霍光就把劉賀身上佩戴的象徵皇帝身份的玉璽綬帶解下，呈給上官太后。

誰都知道，這是霍光理屈詞窮了，要知道，這個掌握皇帝廢立之權的上官太后此時不過是一個十五六歲的小姑娘，而且她還是霍光的外孫女。昌邑王劉賀一見跟霍光這種人沒有道理可講，人家根本就不依你的，再這麼僵持下去，弄不好自己性命都難保，只好仰天長嘆了一口氣，看了朝中文武眾大臣一眼，自我解嘲地說道：“都怪我太傻了，戇頭戇腦的，這大漢的帝位不是我這種人能坐的。不坐也好，我還是回我的封地快活些。”說完之後，也不接旨，就上車揚長而去。

文武群臣上奏太后說：“古時候，被廢黜之人，要放逐到遠方去，使其不能再參與政事。請將昌邑王劉賀遷徙到漢中房陵縣。”太后下詔，命劉賀回昌邑居住，賜給他二千戶人家作為湯沐邑，他當昌邑王時的家財也全部發還給他，其姐妹四人，各賜一千戶人家作為湯沐邑；撤銷昌邑國，改為山陽郡。 他的舊從除了二人外全部被殺。至此，廢帝一案圓滿落幕。

霍光一看，還有些不放心，於是也趕緊上馬，親自以皇帝乘輿的副車陪送劉賀到達昌邑王的府邸。

臨別，他對劉賀說：“大王所作所為，乃自絕於上天。我寧願對不起大王，不敢對不起社稷！希望大王自愛，我不能再侍奉於大王左右了。”然後，居然還擠出了幾滴眼淚，作狀痛哭了一番，這才放心地離去。

不算是沒有反抗，只是有心無力啊。

在霍光率領一干大臣聯名彈劾劉賀罪行要廢黜他時，劉賀不服氣的反駁：“聽說天子有諍臣七人，雖然無道，不應失去天下。”

霍光回：“皇太后廢了你，你怎麼還能稱得上是天子。”隨後強行解下劉賀身上的璽。扶著劉賀除了宮殿？

首先，劉賀孤身一人在大殿面對霍光這個大臣率領群臣要廢黜他，他沒有諸葛亮舌戰群儒的本事，膽量明顯也不足。而且當時數百名手持兵器的侍衛就在門外。

劉賀才來長安沒多久，根基不穩。而他的對手是當時權傾朝野的霍光，霍光早在漢武帝時期就受重用，漢昭帝時更是把持朝政，幾朝的權臣。而劉賀名義上的母后，也就是皇太后又是霍光的外孫女。

再看當時彈劾的名單上都有誰？

軍政大臣、監察重臣、廷審重臣、主管禮儀或主管藩屬國的官員、保衛皇城朝廷的武官、主管京輔一帶治安的官員、主管皇家事務的官員、部分將軍，還有京城附近的郡守，部分侯爵、博士等。

也就是說，不單霍光要廢黜他，這麼多朝廷重臣畏懼霍光的權勢也好，是真心要廢黜她也好，反正沒人站出來支援他。劉賀根本無力反抗，還是識時務的乖乖放棄帝位的好。