漢武帝是一個有大作為，雄才大略的帝王，千古一帝。他加強了中央集權，打敗匈奴，解除了遊牧民族對漢朝維持幾十年的的巨大威脅。漢武帝不拘一格，重用衛青，霍去病等天才將領，兩人也不負眾望，沉重打擊了匈奴，建立了卓越的功勳，被武帝封為大將軍，一等侯。衛青的姐姐衛子夫是皇后，母儀天下，霍去病是衛青的外甥，甥舅兩人掌握軍權。衛氏家族權勢一時無二，在漢朝建國幾十年來只有呂氏家族可以與之相比。 漢武帝本身性格就有點多疑，晚年更甚，看到衛氏家族權勢日益增長，難免會聯想到幾十年前的呂氏家族，心裡會多少有點忌憚。皇帝最怕的就是自己的權力被人奪走，周潤發主演的《滿城盡帶黃金甲》中有句這樣的臺詞“朕給你的才是你的，你不能爭”，這句話把君主的多疑和對權力的在乎刻畫的淋漓盡致。於是，漢武帝就逐漸刻意冷落疏遠衛青和皇后，不再重用衛氏家族。

這時候漢武帝還念舊情，沒有對衛氏家族起殺心。武帝晚年荒廢朝政，迷戀煉製丹藥，想長生不老，於是整日與道士江充等人呆在一起。太子為人正直，不忍小人混亂後宮，於是多次向漢武帝直諫，與江充等人起衝突。這時還需要提起弋夫人這個人。弋夫人受晚年漢武帝寵愛，寵愛程度超過早年對衛子夫的寵愛。弋夫人與漢武帝有一子，其與江充以及當時的丞相勾結，誣陷太子和皇后造反，讓自己兒子取得太子之位。漢武帝本來就對衛氏家族懷疑，這把火一加，徹底爆發，不容太子皇后辯解，派軍隊剿滅太子和皇后。於是，衛氏家族就徹底衰落了。