漢武帝臨死時，指定他的小兒子昭帝繼位，並指定了霍光和上官桀、金曰磾一起輔政。漢武帝這個安排當然是希望三個輔政大臣之間能夠相互牽制，以免一枝獨大，尾大不掉，威權下移，出現強臣壓主的局面。
但霍光很快就在政治鬥爭中勝出，除掉了另外幾位輔政大臣，成為當時漢朝真正的掌權者，皇帝變成了傀儡。而且，漢昭帝雖然也很聰明，但他沒能熬過霍光，年紀輕輕就死了，並未留下後嗣。
於是霍光從漢武帝后嗣中找到了當時的昌邑王劉賀繼位。按照輩分，劉賀是漢武帝的孫子，是漢昭帝的侄兒，入繼大統是比較合適的。所以，當時雖然還有其他的漢武帝子嗣，比如廣陵王劉髆，但霍光都沒選，而選了昌邑王劉賀。
劉賀只當了二十八天皇帝，霍光就以他酗酒荒淫為名，給他羅織了一百多個罪名，把他廢黜，並且將爵位貶低為海昏候，封地在現在江西南昌一帶，當時算是比較偏遠的地方，讓劉賀去那裡生活，以免威脅到朝廷。
接著，霍光就找到了漢宣帝劉詢。宣帝是漢武帝的曾孫，祖父是在巫蠱之禍中因叛亂罪名被殺的戾太子。戾太子是漢武帝和衛皇后的兒子，衛皇后是霍去病的姨媽，衛青是戾太子和霍去病的舅舅，而霍光和霍去病是同父異母的兄弟，所以霍光名義上和戾太子也算是表兄弟。這樣算下來，漢宣帝和霍光也算是沾一點親戚。
霍光在世時，漢宣帝其實也是很老實的，並沒有什麼明顯的作為，而且娶了霍光的女兒霍成君。霍家本來希望立霍成君為皇后，但漢宣帝堅持要找自己在民間時的妻子許平君，和霍家發生了爭執。雖然漢宣帝立了許平君為皇后，但因為霍光的反對，許皇后的父親未能按照西漢慣例封侯，並且不久後許平君就在霍光妻子的指使下被毒死，霍成君還是被立為皇后。
這次和霍家的交手很顯然讓宣帝對霍家的權勢之大有了比較深刻的認識，所以他在之後一直以隱忍為主，沒有再和霍家直接衝突。加上有漢昭帝年紀輕輕就不明不白的死了和昌邑王立了又廢的前車之鑑，漢宣帝在皇后之爭之後就沒有再試圖反抗霍家了。
但霍家很顯然也很清楚，霍光在世漢宣帝不會把霍家怎麼樣，可以繼續一手遮天，但霍光死後，漢宣帝是一定不會再對霍家有什麼好臉色的。霍光對此顯然也有一定程度的認識，所以，霍光臨死前上奏，請求把他的食邑分三千戶給他的侄兒霍山，作為霍去病的繼嗣，延續香火。這是霍光臨終前為了擴大霍家權勢的安排。
霍光死後陪葬茂陵，葬禮禮儀堪比皇帝，陵墓規格也是比照皇帝陵墓，霍光的妻子還嫌太小了，堅持把霍光陵墓的規格繼續擴大。
霍光的兒子霍禹、侄孫霍雲在霍光秉政時就已經擔任重要職位，都是中郎將，霍山是霍雲的弟弟，也是奉車都尉、侍中，霍光的兩個女婿為東西兩宮衛尉，掌握宮廷禁衛，霍光的其他親戚也都擔任大夫、騎都尉、給事中等職務，佈列朝廷。霍光去世後，霍禹又被漢宣帝晉升為右將軍，地位已經比較高了，再進一步就可以擔任大將軍。
更重要的則是，在霍光死後，霍家本身內部也存在比較大的問題。霍光的妻子顯和家奴私通淫亂，霍禹作為霍光爵位的繼承人，理應充當霍家的掌門人，但他的政治能力很低，看不清形勢，遇到事情只會抱怨，或者稱病不朝，實際上是沒有能力與宣帝相抗衡。相比之下，宣帝經過多年隱忍，在霍光死後的操作要老到得多了。
但霍光的子侄輩顯然很清楚，霍家之前得罪宣帝已經很深了，罪在難逃，所以自己心裡也不踏實，就密謀叛亂。霍光去世兩年後，霍家被人告發。顯、霍禹被漢宣帝下令腰斬，霍雲、霍山等人自殺，牽連長安城中與霍光家族有關係的上千家，只有已經被廢了的皇后霍成君倖免。但霍光本人的陵墓並未被宣帝拆毀，而是繼續保留下來了。
漢武帝臨死時，指定他的小兒子昭帝繼位，並指定了霍光和上官桀、金曰磾一起輔政。漢武帝這個安排當然是希望三個輔政大臣之間能夠相互牽制，以免一枝獨大，尾大不掉，威權下移，出現強臣壓主的局面。
但霍光很快就在政治鬥爭中勝出，除掉了另外幾位輔政大臣，成為當時漢朝真正的掌權者，皇帝變成了傀儡。而且，漢昭帝雖然也很聰明，但他沒能熬過霍光，年紀輕輕就死了，並未留下後嗣。
於是霍光從漢武帝后嗣中找到了當時的昌邑王劉賀繼位。按照輩分，劉賀是漢武帝的孫子，是漢昭帝的侄兒，入繼大統是比較合適的。所以，當時雖然還有其他的漢武帝子嗣，比如廣陵王劉髆，但霍光都沒選，而選了昌邑王劉賀。
劉賀只當了二十八天皇帝，霍光就以他酗酒荒淫為名，給他羅織了一百多個罪名，把他廢黜，並且將爵位貶低為海昏候，封地在現在江西南昌一帶，當時算是比較偏遠的地方，讓劉賀去那裡生活，以免威脅到朝廷。
接著，霍光就找到了漢宣帝劉詢。宣帝是漢武帝的曾孫，祖父是在巫蠱之禍中因叛亂罪名被殺的戾太子。戾太子是漢武帝和衛皇后的兒子，衛皇后是霍去病的姨媽，衛青是戾太子和霍去病的舅舅，而霍光和霍去病是同父異母的兄弟，所以霍光名義上和戾太子也算是表兄弟。這樣算下來，漢宣帝和霍光也算是沾一點親戚。
霍光在世時，漢宣帝其實也是很老實的，並沒有什麼明顯的作為，而且娶了霍光的女兒霍成君。霍家本來希望立霍成君為皇后，但漢宣帝堅持要找自己在民間時的妻子許平君，和霍家發生了爭執。雖然漢宣帝立了許平君為皇后，但因為霍光的反對，許皇后的父親未能按照西漢慣例封侯，並且不久後許平君就在霍光妻子的指使下被毒死，霍成君還是被立為皇后。
這次和霍家的交手很顯然讓宣帝對霍家的權勢之大有了比較深刻的認識，所以他在之後一直以隱忍為主，沒有再和霍家直接衝突。加上有漢昭帝年紀輕輕就不明不白的死了和昌邑王立了又廢的前車之鑑，漢宣帝在皇后之爭之後就沒有再試圖反抗霍家了。
但霍家很顯然也很清楚，霍光在世漢宣帝不會把霍家怎麼樣，可以繼續一手遮天，但霍光死後，漢宣帝是一定不會再對霍家有什麼好臉色的。霍光對此顯然也有一定程度的認識，所以，霍光臨死前上奏，請求把他的食邑分三千戶給他的侄兒霍山，作為霍去病的繼嗣，延續香火。這是霍光臨終前為了擴大霍家權勢的安排。
霍光死後陪葬茂陵，葬禮禮儀堪比皇帝，陵墓規格也是比照皇帝陵墓，霍光的妻子還嫌太小了，堅持把霍光陵墓的規格繼續擴大。
霍光的兒子霍禹、侄孫霍雲在霍光秉政時就已經擔任重要職位，都是中郎將，霍山是霍雲的弟弟，也是奉車都尉、侍中，霍光的兩個女婿為東西兩宮衛尉，掌握宮廷禁衛，霍光的其他親戚也都擔任大夫、騎都尉、給事中等職務，佈列朝廷。霍光去世後，霍禹又被漢宣帝晉升為右將軍，地位已經比較高了，再進一步就可以擔任大將軍。
更重要的則是，在霍光死後，霍家本身內部也存在比較大的問題。霍光的妻子顯和家奴私通淫亂，霍禹作為霍光爵位的繼承人，理應充當霍家的掌門人，但他的政治能力很低，看不清形勢，遇到事情只會抱怨，或者稱病不朝，實際上是沒有能力與宣帝相抗衡。相比之下，宣帝經過多年隱忍，在霍光死後的操作要老到得多了。
但霍光的子侄輩顯然很清楚，霍家之前得罪宣帝已經很深了，罪在難逃，所以自己心裡也不踏實，就密謀叛亂。霍光去世兩年後，霍家被人告發。顯、霍禹被漢宣帝下令腰斬，霍雲、霍山等人自殺，牽連長安城中與霍光家族有關係的上千家，只有已經被廢了的皇后霍成君倖免。但霍光本人的陵墓並未被宣帝拆毀，而是繼續保留下來了。