對漢武帝來說，衛青和霍去病比匈奴人更危險。衛青膽敢私自調動軍隊，霍去病膽敢在皇帝眼皮底下暗殺關內侯，他倆誰還把漢武帝放在眼裡？此時也只有傻子皇帝，才會讓衛霍繼續掌握兵權。漢武帝可不傻，他先穩住霍去病，避免狗急跳牆，再找由頭把兩人分開打壓。中國皇帝都會優先解決內部矛盾，再解決外部矛盾，這就給了匈奴人休養生息的時間。

其實這其中有很多的說法，或者說史記當中，司馬遷已經隱隱透露出了幾分資訊，只是人們選擇性不去相信罷了，畢竟人們還是比較喜歡完美的結局，寧願把霍去病之死歸咎於匈奴在河中投毒，也不會相信，漢武帝派人暗殺霍去病的事情。那麼我們抽空來看看，這句話當中，到底透露出多少資訊。

就在當時，因為李敢認為，自己父親李廣是被衛青害死的，所以直接闖入衛青的宅邸，去殺衛青去了，雖然說李敢那時候的地位已經不低了，但是擅闖將軍府，那罪過也大，若不是那些親兵衛隊攔著，衛青還真被李敢給殺了，既然李敢敢這麼做，自然是有原因的，其一是自己父親李廣的影響，其二自己也是外戚，幾乎和衛青的地位是一樣的，有啥可怕的？不過衛青也是大度，或許衛青也是因為自己曾經和李廣說的話太重了，畢竟一個青年人訓斥年過花甲的老將，讓老將面子往哪裡放？導致了李廣自殺，縱然是李廣確實有錯，但是畢竟死者為大，自己也是有不可推卸的責任，所以衛青沒有拿李敢問罪。

其實這樣的事情，傳到漢武帝耳中，漢武帝也還有想法的，他至少也是在懷疑，衛青是在排除異己，但是此時正是用人之時，自己也只能忍著。

其實縱觀漢武帝時期的對匈作戰，雖然說霍去病確實厲害，但是從一些記載之上不難看出，霍去病身上也是有著幾分自傲了，李敢縱然有點衝動，並且是你的屬下，你完全可以找一個機會弄死他，但是這裡霍去病沒有這麼做，在陪漢武帝打獵的時候，當著漢武帝的面，在漢武帝的狩獵區殺人，而且還是朝廷重臣外加外戚的人，雖然說漢武帝幫霍去病把這件事壓了下去，但是帝王之心可不能按照凡人的套路去揣測，換你我是漢武帝，霍去病這樣做事兒，你會怎麼想，完全就是自持功高，目無王法，甚至不把漢武帝放在眼裡，留下來就是個禍害，而且殺李敢不是為漢武帝自己殺，而是為了衛青。所以當時的漢武帝心中至少是在想著，這舅舅外甥二人，必要殺一個。

可舅舅呢，又是自己姐姐的男人，唯有讓霍去病死了，後世推測，霍去病實則是衛青的老婆，也就是漢武帝的姐姐，霍去病的舅母害死的，完全是有道理的，而且還是漢武帝預設的，否則這麼大事情，漢武帝是旁人的話，不會不追查的。

公元前123年，李廣被重新封為將軍，隨衛青由定襄出擊匈奴，但沒能建功。公元前120年，李廣率四千人出右北平配合張騫的部隊作戰，遭遇匈奴左賢王精銳四萬人包圍，僵持一天一夜，彈盡糧絕損失慘重，後來張騫帶領一萬騎兵趕到，逼走匈奴解圍。此戰李廣因損兵折將沒有得到封賞，而張騫因為延誤軍機，按律當斬，後廢為庶人。

公元前119年，漢武帝發動漠北之戰，由衛青、霍去病各率五萬騎兵由定襄、代郡出擊跨大漠遠征匈奴本部，李廣被分配跟隨衛青出征。漢武帝經不起李廣請求，同意他打先鋒，但隨後密信衛青，說李廣犯黴運，不能給與先鋒官的重任。衛青因此安排李廣與趙食其領兵支援東路，令李廣頗為不滿。由於路途過遠的關係，李廣在沙漠中迷路，延誤了戰鬥時機，導致單于突圍逃走。漠北大戰結束後李广部才和主力部隊會合，李廣因此犯延誤戰機罪受到衛青責問，不願受軍法審判，憤而自殺，得年六十餘歲。

李廣的三子李敢得知父親李廣的死訊，怨恨衛青陷害其父，於是擊傷大將軍衛青，衛青因心中有愧，故沒有追究。但他的外甥霍去病卻不能接受部下傷害自己舅舅、以下犯上刺傷當時的大將軍。之後，漢武帝狩獵，李敢與霍去病同去。霍去病趁打獵之時，射死了李敢。漢武帝對外稱「李敢狩獵時被鹿撞死」了結了此事。