需要負責的人有以下幾人；一、漢武帝，霍去病是漢武帝一手培養，親力親為打造的一員虎將，在衛青戰功赫赫、所向披靡時出現的第二把利劍，有效的制衡了衛家一家獨大的現象(霍雖為衛青外甥)，雙大司馬大將軍，霍去病年輕氣盛，戰場屬天才，官場及私下卻無容人之肚量，漢武帝百年之後，無人可鎮壓，漢朝前景岌岌可危，所以漢武帝有嫌疑；二、衛青，霍去病雖是其外甥，卻官職與舅舅相當，在古代官場，心生妒忌非常正常，既生瑜何生亮，所以衛青有嫌疑；三、匈奴人，霍去病號稱常勝將軍，匈奴人自西漢開國，少有敗戰，卻一而再，再而三敗在衛青和霍去病手中，而霍去病多次以少勝多和採用匈奴人最擅長戰術打敗匈奴人，這也是匈奴人生畏的地位，所以除去霍去病對他們來說是有利的，匈奴人有嫌疑；最後，霍去病自己，戰場上戰無不勝，攻無不取，官場上及人情世故上卻缺少圓滑，缺少經驗，得罪當權者，得罪同僚，得罪下屬，在所難免，自身也有原因，個人見解。

霍去病是西漢打擊匈奴的軍事天才，從18歲初露鋒芒到24歲英年早逝，殺滅匈奴過十萬人，飲馬翰海，封狼居山，將匈奴趕得一直往北搬家，揚我大漢雄風。他死於公元前117年，也就是漠北之戰兩年後。關於他的死因在司馬遷的《史記》中也沒有記載，司馬遷與他是同一時代的人，所以他的死一直都是個未解之謎。

關於他的死，有以下幾種猜測：

第一種是匈奴人為了報復霍去病奪走了他們的家園，在他所到的地方的水源埋了得了疫病的牲畜，霍去病感染了疫病，又因為多年征戰，身體疲累，最後因病身亡。

第二種猜測是因為漠北大戰之後大將軍衛青、驃騎將軍霍去病皆加官為大司馬。驃騎將軍的官階和俸祿同大將軍相等。霍去病一時風光無限引起了衛青的忌憚，所以可能被衛青害死了。但是據史料記載衛青和霍去病一向甥舅關係親厚，而且衛青為人低調待人寬厚。如果真的是衛青害死的霍去病那就等於是自折臂膀，由後面的巫蠱大案就可見一斑。如果當時霍去病還在世的活，衛氏一族也不會被人連根拔起。所以個人認為衛青害死霍去病的可能性很低。

第三種猜測就是被李廣的家人所害。在漠北大戰時，李廣老將軍因為再次迷失道路，找不到匈奴主力，憤愧自殺，一生都沒有實現封侯的願望。當時李廣的兒子李敢跟隨霍去病出戰，多立戰功。李敢認為衛青作為這次戰役的總指揮對他父親李廣之死負有不可推卸的責任，所以就打傷了衛青。霍去病知道之後就在甘泉宮的射獵中射殺了李敢。當時漢武帝劉徹並沒有處罰霍去病。所以推測可能是李氏族人為了報仇害死了霍去病。

無論如何，他的死對當時的漢朝造成了不可估量的損失。自此之後，大漢在對匈奴的戰爭中都表現平平，即便獲勝也是自身要付出重大的代價,給當時的朝廷和百姓造成了沉重的負擔。縱觀中國幾千年的歷史，霍去病這樣的軍事天才也是難得一見的。如果霍去病能夠多活二十年，西漢的歷史必將改寫，中華民族的歷史可能也會改寫！