劉賀在位二十七日以來，使者往來不斷，拿著旄節下命令給各官署徵調並索取物資，共一千一百二十次。文學光祿大夫夏侯勝、侍中傅嘉等多次進諫，規勸過失。劉賀竟派人按簿冊責問夏侯勝，又把傅嘉捆起來關進監獄。劉賀荒淫無道，喪失帝王禮義，攪亂朝廷制度。大臣楊敞等多次進諫，劉賀不但不改，反而一天比一天更利害。霍光擔心劉賀要危及國家，使天下百姓不安，便與群臣商議，稟告皇太后上官氏，廢掉劉賀讓他返回昌邑國（治所在今山東省鉅野縣），賜給他湯沐邑二千戶，從前昌邑哀王劉髆的家財全給了劉賀。對昌邑哀王劉髆的四個女兒也各賜湯沐邑一千戶。其後不久，昌邑國被廢除，降為山陽郡。劉賀被廢后，大將軍霍光另立漢武帝曾孫劉詢為皇帝，是為漢宣帝。

大家一定好奇，劉賀是怎麼當上皇帝的。

劉賀能夠登基成為皇帝，其實是很有戲劇性的。公元前74年四月，年僅21歲的漢昭帝劉弗陵，沒有留下子嗣就去逝了。國不可一日無君，霍光與群臣經過激烈的爭辯後，決定由昌邑王劉賀來繼任皇位。於是，霍光就以上官皇后的名義下了詔書，派少府樂成、總正劉德、光祿大夫丙吉等去迎接昌邑王，請他到長安來即位。

當三人風塵僕僕趕到昌邑見到劉賀時，正值“夜漏未盡一刻”，也就是在半夜。正常人碰到這種天大喜事，都會迫不及待的動身。可劉賀一直拖到第二天中午才開始啟程，而且一走就像是“急行軍”，三個多時辰竟然狂奔了135裡地，不少侍從的馬都被累死在路上。從鎮定到發飈，從磨蹭到狂奔，劉賀沒有行程安排，沒有時間觀念，自己想怎麼樣就怎麼樣，單純從這一點上看，劉賀行事就很荒唐。

然而，劉賀在去長安的一路上所做的事情，更讓人感到荒唐：車駕行至濟陽（今河南蘭考東北）時，劉賀還惦記著當地的特產，派人求得“長鳴雞”，作為沿途解悶的玩意；經過弘農（今河南靈寶北）時，劉賀突然有了生理需要，派人搞來一車漂亮女子，作為自己洩慾的工具……

車駕趕到霸上（今西安市東）後，當皇宮的禮儀官員獻上只有皇帝才有資格享用的乘輿時，劉賀高興得手舞足蹈，甚至得意忘形。但為了順利“過關”，他不得不把自己一貫的荒唐行為予以收斂，牢牢記下了郎中令龔遂對他的囑託，在車駕到達長安未央宮時，“下車，向闋西面伏哭，盡哀止”。劉賀“盡哭如儀”的即興表演，通過了宮廷眾人的“面試”，也打動了霍光的心。霍光帶他參見了上官皇后，接著上官皇后下詔書立他為太子。六月，劉賀以皇太子的身份接受了皇帝璽綬，即皇帝位；尊昭帝的遺孀上官皇后為皇太后。

做了大漢皇帝的劉賀，卻沒有一點做皇帝的樣子。他每天從早到晚，不僅不管理朝政，反而變的更加荒淫。他把以前在昌邑的小流氓們全部召到長安，繼續陪他吃喝玩樂；把自己任昌邑王時的官屬統統調到長安，安排高官厚爵；讓家人都穿上刺史的官服，任其橫行霸道、胡作非為；強令遠在新疆的高昌地區，為他寵幸的大臣們進獻黃金和美女；派人將樂府的樂器和舞女調到宮中，供自己享樂；跑到後宮對以前伺候過昭帝的宮女們進行姦淫；他甚至還試圖強姦年輕的皇太后……

一時間，整個皇宮被劉賀攪的天昏地暗、烏煙瘴氣。根據《漢書·霍光金日磾傳》載：劉賀“受璽以來二十七日，使者旁午，持節詔諸官署徵發，凡千一百二十七事。”27天內就幹了1127件荒唐事，平均一天40件。這個數字確實驚人！

劉賀的荒唐行經，引起了霍光的氣憤和後悔，也使他感到了事態的嚴重，如果不及早處置，將會使漢家天下斷送到劉賀的手裡。霍光決定“更選賢而立之”，他聯合了群臣，在得到皇太后的允許後，乘著劉賀玩樂的機會，控制住了他從昌邑帶來的親信。接著又在未央宮承明殿召開“公審大會”，列舉了劉賀的種種“劣跡”，將其廢黜。除了王吉和龔遂等幾個時常規勸他的人保留了性命外，劉賀從昌邑帶去的那二百多個親信，全被拉到大街上斬首示眾。

荒唐的性格，荒唐的行為，荒唐的遭遇，荒唐的一生，劉賀是中國歷史上最荒唐的廢帝。因為荒唐，劉賀僅過了27天的皇帝癮，就被廢黜。因為荒唐，劉賀在中國曆代皇帝的名字裡，沒有佔得一席之地。

但從歷史的角度來看，劉賀儘管不學無術、不務正業，甚至荒唐透頂，但也決不可能在27天內做出1127件荒唐的事情來；再者，歷史上比劉賀荒唐十倍的君主不乏其人，真是“欲加其罪，何患無辭”！歷朝歷代的政治鬥爭都是如此。透過廢立，西漢權臣霍光達到了削減皇權，繼而進一步專權的政治目的。在這場廢立風波中，劉賀不過是霍光玩弄權術的一個政治道具而已，因為“及昌邑王廢，光權益重”。（《資治通鑑》）

戾太子雖被武帝平反了，畢竟是造反了，有政治汙點，而且他還是戾太子的曾孫隔了兩輩分，昭帝死後無子，是依照藩王入贅繼承的原則與太后，群臣們商量得的結果，是有正統的合法性，而卻因昌邑王不錯當的做法不僅得罪了權臣而且還得罪了全部朝臣，以下犯上，被羅列罪名拉下馬的，這對於帝王的尊嚴是極大的侮辱，而他是被權臣所立，大力的吹捧昌邑王就是在解得位不正，宣帝出於對帝位的穩固和傳承考慮，必然會對不利於自己的東西干涉，政治就是這樣子