霍去病有一個兒子霍嬗，字子侯，河東郡平陽縣(今山西臨汾西南)人。生母未見史書。霍去病死後，霍嬗襲冠軍侯爵位，為侍中，頗受漢武帝疼愛，有意等他長大以後用為將軍，繼續霍去病的功業。霍去病死後六年，元封元年（前110年），霍嬗從漢武帝登泰山封禪《史記·封禪書》“禮畢，天子獨與侍中奉車子侯上泰山，亦有封。其事皆禁。”後不久暴卒，諡號為哀。霍嬗死時可能只有十歲《史記·衛將軍驃騎列傳》“居六歲，元封元年，嬗卒，諡哀侯。無子，絕，國除。”，霍嬗無子，霍去病的嫡系後裔至此斷絕，冠軍侯國也因此而除。 此外，霍家有史記載的霍山、霍雲二人，因謀反被漢宣帝滅族。但也對宣帝時期的政治產生過一定影響。因《史記》《漢書》互有訛誤，對他們二人的身世記載大體而言有三種意見，第一種意見認為二人均是霍去病之子，第二種意見認為二人均為霍去病之孫，第三種意見認為霍山為霍去病之子，霍云為霍去病之孫，而認為霍山、霍雲均是霍去病之孫者，又對霍山與霍雲的兄弟關係產生分歧，有人認為霍山是霍雲之兄，也有人認為霍山是霍雲之弟，在此不再贅述。