主要原因還是跟衛青的出身有關，漢武帝有恩於衛青，如果沒有漢武帝衛青可能就一直是馬伕。千里馬常有，而伯樂不常有！所有衛青一直對漢武帝心存感恩！

因為衛青聽話，實際上古代的文人和武將是看不起衛青的，認為衛青是漢武帝的家奴。和同時代霍去病的張揚、桀驁不馴不同，衛青是非常恪守君臣禮儀和臣子之道的，甚至可以說是非常卑微的。在古代臣子是以敢於規諫皇帝為榮的，《史記》和《漢書》更是將衛青放在了《佞幸傳》裡，這就是因為衛青無原則的卑微、聽話。這樣的人怎麼可能結黨營私。

首先衛青的出身就讓衛青一直謹小慎微，得遇賞識之後也是從不干涉國政，漢武帝讓打哪裡就打哪裡，是漢武帝心腹中的心腹

作為衛子夫的弟弟，在衛子夫沒有被漢武帝相中的時候，衛青不過是陽平公主府下的馬童。而衛青還是奴婢私通的私生子，更是為人所鄙夷。幸好有衛子夫的關係，衛青這才得以有機會平步青雲。

衛青的確是有本事，遠征大漠七戰七捷，漢武帝對匈奴功績，衛青要佔據一半。但是衛青謹小慎微，討好巴結漢武帝卻是從未缺席過。每次被漢武帝賞賜，都是能推就推，即使推辭不過也會將錢財用來巴結漢武帝的親人、寵臣，這一點讓司馬遷和歷代自認有風骨的文臣武將所不恥，但不可否認的是衛青的功績一直又被人所敬仰。

漢武帝時期竇嬰和田蚡被抄家滅族，根本原因就是養士太多，目無王法《史記.衛將軍驃騎列傳》：蘇建語餘曰：“吾嘗責大將軍至尊重，而天下之賢大夫毋稱焉，原將軍觀古名將所招選擇賢者，勉之哉。大將軍謝曰：‘自魏其、武安之厚賓客，天子常切齒。彼親附士大夫，招賢絀不肖者，人主之柄也。人臣奉法遵職而已，何與招士！’驃騎亦放此意，其為將如此。

衛青雖然在軍中和臣僚之中聲望很高，很多大臣建言衛青應該開府養士，但是衛青否決，並且以漢武帝憎惡竇嬰、田蚡為前車之鑑，從不招募從屬。李廣因喪失了立功封侯的最後機會，以及迷路的過失將會受到的軍事審問自盡，李敢怨恨衛青，擊傷了衛青，衛青卻並沒有計較，霍去病卻忍受不住，親自將李敢射殺為衛青報仇。

這一事件的鮮明對比也讓衛青的謹小慎微深入人心，因此歷代不乏有批評衛青依靠諂媚和裙帶關係，但卻無人說衛青結黨，更無人質疑衛青的蓋世功勳。

實際上衛青如此做真是高明的地方，漢武帝精明強悍，位極人臣者往往沒有好下場。衛子夫年老色衰，王美人、李夫人等相繼受寵的情況下，衛青卻依舊沒有受影響。衛青在世的時候，太子無人敢於構陷，漢武帝后期的那些腌臢事情，也是從衛青身死才開始冒頭。