不是。劉賀的墓已經挖掘出土的有編鐘、編磬、琴、瑟、排簫、伎樂俑；竹簡、木牘以及有文字的漆笥、耳杯等數以千計；可以看出他喜好音樂和讀書。 他作為皇帝沒有安撫好霍光，導致被權臣霍光廢掉。後來繼位的漢宣帝就聰明多了，等霍光死了才平泉霍家。

元平元年（前74年）6月5日，漢昭帝駕崩，亨年21歲，因無子，劉賀被徵召入朝，立為皇太子。7月18日，劉賀接受皇帝璽綬，承襲皇帝的尊號，卻並未謁見高廟。8月14日，霍光以其不堪重任，突然發動政變，與大臣奏請15歲的皇太后（霍光的外孫女漢昭帝皇后上官氏）下詔，廢黜了他。據《漢書》載劉賀罪行“受璽以來二十七日，使者旁午，持節詔諸官署徵發，凡千一百二十七事。”劉賀在即位二十七天內，就幹了一千一百二十七件荒唐事，平均一天四十件。並親自送他回到封地昌邑，削去王號，給他食邑二千戶。同年，霍光尊立衛子夫皇后唯一曾孫，戾太子劉據唯一的遺孫、18歲的劉病已為帝，是為漢宣帝。打發劉賀回到山東昌邑國，過著被監視的日子。他帶去長安的200多個官員除了3個人，其它的都被斬首。

劉賀真的是因為這樣被廢掉的嗎？仔細思考，經不起推敲。首先，劉賀在即位二十七天內，就幹了一千一百二十七件荒唐事，平均一天四十件。這是多麼的拼啊，不管幹什麼事，除去吃飯睡覺的時間，毎個小時至少要幹三件，顯然是站不住腳的。第二，對於權臣霍光來說，一個昏庸的皇帝符合他的利益，這樣他就可以繼續獨覽大權。

所以，真正的原因，一定是劉賀威脅到了霍光的權利。劉賀從昌邑國進京時，帶了200多人的政治班底。試想一下，霍光經營朝政十多年，政治對手都已經被他清洗，朝廷裡理現在都是霍光的人，你劉賀現在一下要安插200多人，那以後哪有我霍光說話的份，皇帝位置是我霍光給你，還沒表彰擁立之功就要開始奪權，那怎麼行？趁這小子羽翼未豐趕緊廢了他。這才是真正的原因，才符合邏輯。