霍光在地節二年，即公元前68年病死，而並不是被宣帝殺害。

光秉政前後二十年，地節二年春病篤，車駕自臨問光病，上為之涕泣。光上書謝恩曰：“願分國邑三千戶，以封兄孫奉車都尉山為列侯，奉兄票騎將軍去病祀。”事下丞相、御史，即日拜光子禹為右將軍。《漢書霍光傳》

霍光死後，宣帝待霍家很好，只是後來霍光之妻霍顯，霍光之子霍禹等人擅自改變了霍光生前自造的墳墓，將墳墓的規模極具擴大。還大肆修造宅第，為非作歹。最後傳到宣帝那裡。

還有霍顯曾經暗害宣帝的許皇后，霍光死後宣帝才有所耳聞，於是調整了霍氏親信的職位，暗中削奪了他們的實權，於是霍禹等人密謀謀反，最後被發覺。

霍山、霍雲、範明友等畏罪自殺，而霍顯、霍禹、鄧廣漢等被緝拿入獄。最終，霍禹因謀反罪被腰斬，霍顯及霍氏家族的其他成員也被斬首棄市。因與霍家有關聯而被定罪誅滅的達數千家。霍氏家族當中，只有皇后霍成君沒有被殺，而是被廢黜，移居昭臺宮，十幾年後，又被移往雲林館，在那裡自殺而死。

霍家的滅族其實是因為霍家子孫沒有遵守法度，擅自謀權，謀反，觸犯到了皇帝的最低底線，再加上從前許後被害的事情被發覺，因此導致宣帝滅掉霍族。

順便說一句，宣帝因匈奴歸降，回憶往昔輔佐有功之臣，列了“麒麟閣十一功臣”。十一人中霍光為第一，併為了表示尊重，獨不寫出霍光全名，只尊稱為“大司馬、大將軍、博陸侯，姓霍氏”。可見宣帝還是很尊敬和感激霍光的。