電視劇《漢武大帝》劇照
漢武帝對“儒術”的熱愛可能不真誠，但他變革政治的決心卻十分清楚。這自然引起了文景時代還算安穩的舊派人物反彈。竇太后的直接干預就是其例。
起因是，趙綰請“毋奏事東宮”。東宮是長樂宮，正是竇太后的居所。武帝大張旗鼓的將趙綰這樣新人引入朝廷，以更明顯和急切的方式力圖開啟變革，舊派人士，包括竇太后在內，一開始對這樣的鋒芒畢露沒有痛下殺手（竇嬰很早就得罪了竇太后，其為相竇太后並未干預），但趙綰有些不合時宜的激進建議，讓竇太后忍無可忍，大怒曰“此欲復為新垣平耶？”
這句話直接將武帝提拔的儒生與“詐騙”的新垣平視為同類，給武帝寄予厚望的改革派新勢力定了性。至於將兩件不相干的事聯絡在一起，則與當時儒術、文學、方士、辯士之間的界限說不清有關（見前文“賈誼和新垣平”一節），但更重要的，在舊派眼裡，不管是儒術還是方士、辯士、文學，都是它的對立派。
竇嬰、田蚡被免，趙綰、王臧下吏自殺，已開始的“明堂事”及各種新專案停廢，趙綰的老師申公免歸。武帝近兩年的努力瞬間歸零。而史書中說“趙綰、王臧以文學獲罪，竇太后以為儒者文多質少”更說明“文學”、“儒者”在當時很多人眼裡是一件事。
竇太后雷霆之怒後，“無文學而恭謹無與比”的萬石君石奮，及他的兒子石建、石慶取而代之，成了武帝身邊的人。石建極為謹慎，“至廷見，如不能言者”，石慶則“諸子中最為簡易”，據此可知，石氏父子與文景時代簡易純樸的政治價值觀相符。
武帝所以親石氏，顯然與竇太后有關，可能是武帝屈從竇太后的權宜之計。石氏的謹慎躬行，在當時正是功臣資歷與“文學”浮詞的中間者，可為二派（堅持傳統的竇太后，希望革新的漢武帝）所接受。在竇太后的高壓面前，武帝退而求其次，親信石氏是當時最好的選擇。
緊接著，許昌便成為丞相。許昌者，高祖功臣許盎之孫，高祖功臣集團之人，而擔任丞相，明顯也出於竇太后的意思。正如一年前（建元元年，前140年）的夏六月，按照武帝的意思，免衛綰而重用竇嬰、田蚡一樣。
衛綰者，按前文（參“雅向儒術和方好文詞”一節）已提到的說法，雖非高祖功臣集團，卻為人謹慎、敦厚而無可言者（與萬石君父子很像），在武帝眼裡沒什麼可取之處（由此可知，武帝對於石氏父子恐怕也是不滿意的）。
衛綰在董仲舒對策之後，也激情了一把，奏議“所舉賢良，或治申、韓、蘇、張之言亂國政者，請皆罷”，似乎是呼應董仲舒所謂“推明儒術，罷黜百家”之旨，實際上只是針對“舉賢良”這一具體事而言，意思是，董仲舒既建議多推舉賢良到朝廷，武帝對這件事又十分熱心，那麼所推舉的人諸如申韓蘇張這些戰國末年、嬴秦數代所尊崇的學問，都應不在推舉之列——實際上還是保守，衛綰更具體和縮小了舉賢良的範圍，把武帝乃至整個漢時人都最不喜歡的那批人排除在外而已，這樣的建議武帝怎麼可能不同意？其實對武帝與董仲舒所心想的事業關係不大，真是謹慎至極啊！
即便如此，武帝一得到機會，便免去了衛綰的相位。此時，先是有與衛綰相近的石氏父子在身邊，接著又以許昌為丞相。比起沒有重用“儒生”之前，一個根正苗紅的“高祖功臣集團”的人重掌相權，甚至是更大的“倒退”。
漢武帝直接用儒生掌權的策略既然行不通，他的應對策略，便是選擇一條中間路線儲備力量。這就是不斷吸納“文學”到身邊，置五經博士（建元五年，前136年）——博士並非治理集團中人，董仲舒對策之前即為博士，這是高祖功臣集團、“無為而治”派把握沒那麼窒息的一塊地方。
而表面上，這些“文學”也是以皇帝“弄臣”的面目出現在世人面前，“以俳優蓄之”、“雖數賞賜，終不以任事”，打消了對新興勢力進入政壇特別敏感的舊派人士的疑慮。
這些“文學”的最大作用，是皇帝的私人顧問，不太涉及外朝公共權力的分爭。比如武帝讓吾丘壽王設計搞上林苑（皇帝的私人愛好），東方朔進諫（勸諫皇帝的私人行為）；好田獵被司馬相如勸諫（勸諫皇帝的私人行為）……這還是有掩人耳目的嫌疑，避免像賈誼一樣被大臣指摘。
但隨著竇太后的去世，武帝對於朝政的深入，“文學集團”意外的形成了自己獨特的價值和作用。即“並在左右，每令與大臣辨論，中外相應以義理之文，大臣數屈焉”——他們並非公共權力領域的入侵者、搶食者，而只是皇帝的私人顧問，但又完全代表了皇帝的意志，按照皇帝的想法與外庭大臣駁難，以此而貫徹皇帝的主張。這既避免了賈誼、董仲舒、竇嬰、田蚡、趙綰、王臧、申公的悲劇，又達到了牽制高祖功臣集團、“無為而治”派大臣的效果。真是武帝的獨特發明，一改文帝、景帝屈服於政治傳統的弱勢。
武帝這一獨特發明和意外收穫，讓他一發而不可收。“文學”不僅在與高祖功臣集團、“無為而治”派的對抗中發揮了重要作用，且在後來“儒術”掌權、武帝革新全面鋪開後，依舊發揮了此項作用，成為了代表武帝意志牽制外朝公共權力的一股力量。元朔五年（前124年）公孫弘為丞相，“每朝覲奏事，因言國家便宜，上亦使左右文學之臣與之論難”，可見，“文學”成了確保武帝意志傳達到公共權力領域、實現君主獨裁的工具；而即便是作為儒家的公孫弘為相，“文學”也與之辯難，更說明了武帝並非真正信仰儒家。
此外，“文學”除了身為武帝獨立於公權力之外“專屬”權力工具，同時還涉及了很多“政事”，以一個比較奇怪的角色參與了國家治理。比如，司馬相如參與了處理西南夷的大事，不但參與政策方針制定，而且作為特派員出使解決問題。東方朔指斥董偃靡麗不法，雖偏向於私事，顯然也關乎朝政倫理。嚴助出使南粵。此後，朱買臣做到了丞相長史，司馬相如去世前勸漢武帝封泰山，封禪後東方朔諫求仙事……
總之，建元六年（前135年）之前，武帝身邊的“文學”最早作為新舊派系之爭的緩衝地帶，避免刺激竇太后或其他大臣，以武帝私人癖好蓄養之，掩人耳目，實際卻充當武帝的代言人傳達皇帝意見；建元六年之後到元朔五年（前124年）公孫弘為丞相之前，“文學”不但是武帝的代言人，而且參與政事，以正式的公家身份解決武帝朝的具體政治問題，特別以外交、風俗為主；但“文學”始終是作為武帝的私人力量獨立於公共權力（朝廷）之外，助力武帝的意志居於絕對統治地位，這似乎是建元時代武帝不得已的中間路線獲得良好效果之後，武帝有意一直如此堅持導致的。
“文學”的崛起也並非單一的，特別是參與外朝政事，其實與竇太后去世之後，武帝再次永珍更新，新興勢力全面登臺有關。建元六年（前135年）五月，竇太后駕崩，次月，丞相許昌就被免，以田蚡為丞相。接著，元光元年（前134年），令郡國舉孝廉，“從董仲舒之言也”。元光二年（前133年），李少君出現了，神仙方士之類的事一發不可收拾；謬忌奏祠太一（與文帝時五帝五彩之類的相近）。元光五年（前130年），河間獻王獻雅樂，公孫弘對策，轅固徵賢良……新興勢力，包括儒生、方士立刻活躍起來；武帝“俳優蓄之”的“文學”們當然也迎來了大有可為的時代。
因此，如果將嚴助、司馬相如、東方朔、朱買臣、吾丘壽王等簡單的看作“文學弄臣”，顯然不合適，彼輩不僅是武帝扶植“儒術”取代高祖功臣集團和“無為主義”政治風俗，在最艱難階段推進武帝意志的改革派先鋒，更是確保武帝意志凌駕於一切政治派別，掌控包括儒家集團在內的公共權力的工具。可以說，此輩“文學”經歷了文景之後武帝擺脫傳統束縛確立個人權威的全部過程，為漢武帝獨裁併開化創新立下了汗馬功勞。