劉賀在位二十多天，就被霍光以不能受大漢社稷為由被廢，雖然劉賀的被廢有權臣掌權的因素，但多數還是他自己的原因。

本來劉賀是沒有資格做皇帝的，但漢昭帝劉弗陵英年早逝，漢昭帝又無子，所以就選定了劉賀為繼承人。本來劉賀能登基為帝，應該好好的珍惜，就算要貪圖享樂，也要等手裡有權，但是他們沒有這麼做。短短二十幾天就做了很多的荒唐事。

漢昭帝劉弗陵駕崩後，漢昭帝的靈柩還沒有下葬，劉賀就在偏殿貪圖享樂，等漢昭帝靈柩剛下葬，他就在原來放漢昭帝靈柩的殿上胡作非為，這是對漢昭帝極大的不尊敬。

劉賀登基為帝后，又強調太后的小車給下人乘做，這是對太后的不尊敬，也是對漢昭帝的不尊敬。

同時劉賀做皇帝后，派了很多人，以天子的名義，向天下四面八方索要奇珍異寶，短短二十幾天，就蒐羅了很多的奇珍異寶。

劉賀所做的荒唐事還不止這些，僅僅只是二十多天，大臣們覺得如果繼續這樣下去，大漢天下岌岌可危。

最終霍光向太后徵詢後，就以劉賀不能守大漢社稷為由，廢了劉賀的皇帝為，改立劉病已為帝，是為漢宣帝。

漢宣帝早期經過霍光的輔政，後來取得權利後，勵精圖治，使大漢國力達到強盛，也有了那個時代的最強音、定胡碑，“凡日月之所照，皆為漢土，凡江河之所至皆為漢臣”，漢宣帝也成了一位很有作為的中興之君，若還是劉賀為帝，應該很難有這麼高的成就。