霍去病生為奴子，長於綺羅，卻從來不曾沉溺於富貴豪華，他將國家安危和建功立業放在一切之前。漢武帝曾經為霍去病修建過一座豪華的府第，霍去病卻斷然拒絕，說：“匈奴未滅，何以家為？”

霍去病是霍仲孺的私生子。其父未曾盡過一天當父親的責任，但霍去病長大後，知道了父親的事，有次任驃騎將軍出征時順道到了平陽（今山西臨汾），霍去病便命下屬將霍仲孺請到休息的旅舍，跪拜道：“去病早先不知道自己是大人（大人：漢唐時指父親）之子。”霍仲孺愧不敢應，匍匐叩頭說：“老臣得託將軍，此天力也。”隨後，霍去病為霍仲孺置辦田宅奴婢，並在領軍歸來後將同父異母的弟弟霍光帶到長安栽培成材。 褚少孫在《史記》卷二十建元以來侯者年表第八中補記：“光未死時上書曰：臣兄驃騎將軍去病從軍有功，病死，賜諡景桓侯，絕無後，臣光願以所封東武陽邑三千五百戶分與山。”這是歷代史書中對霍去病死因的唯一記載。

也有說是在漠北之戰中匈奴人將病死的牛羊等牲口埋在水源中祭祀詛咒漢軍，因此水源區產生了瘟疫。而霍去病在此處飲食了帶有病菌的水，而後病倒。 但也有一些專業人士提出，霍去病死於漠北之戰兩年後，不符合瘟疫的發病時間。當然兩千年前的醫療水平有限，數次領兵出征的勞累，長時間處於艱苦的環境，也足以對霍去病的身體造成不可治癒的傷病。