劉娥當政期間，宰相之位的人選一直是走馬燈似的換，然而，樞密院那邊卻一直很安靜，樞密院的頭把交椅由曹利用坐著，從來沒有被撤換過。直到這一次，曹利用因為一個小小的站位順序無意中將自己推向了火海。

原來當時王若欽和馮拯相繼凋零以後，王曾成功上位當了宰相。他當宰相後，就開始和朝中一些大臣明爭暗鬥了。

有一天，劉太后帶著年少的皇帝來承明殿上朝，然而，當劉太后和皇帝來到承明殿時，竟然驚奇的發現朝中一個人都沒有。劉太后很生氣，以往知只有大臣們等皇帝的，哪有皇帝等大臣的，她非常生氣，於是就命江德明去待漏院看看什麼情況。

然而，當江德明來到待漏院時，這才發現其實大臣們早就來了，不過他們現在都在那裡吵吵嚷嚷，他擠不進去，於是就問合門使什麼情況，合門使一五一十的告訴了他事情的經過。

他們之所以在這裡吵鬧，其實是因為上朝時的“站位序列”問題引發了爭吵。原來宋朝大臣在上朝之前，宰相要站在前面帶領大家上朝。只不過之前因為宰相換的太勤，定不下人來，所以帶領大家上早朝的任務，劉娥就讓樞密使劉娥帶領大家，等到以後正式確認宰相了在換回來。

曹利用便一直率領群臣上朝。然而，這次王曾當了宰相以後，他不願意接受上朝時還繼續站在曹利用的後面，於是，在當天早上上朝時，曹利用還是和往常一樣，站在了前面一排。王曾終於受不了了，好不容易當上了宰相，你還站在我前面，這分明不把我這個宰相放在眼裡，於是，他一把推開了曹利用，站到了他的前面。

曹利用此時也不爽了，心想這麼多年了，以前王若欽等人都不曾對我這麼無禮，你一個王曾，還敢站到我前面。於是，就把王曾也推了一把。這樣一來二去，兩人推推搡搡，其他官員也都一時爭吵了起來，就忘了上朝的時間。

江德明弄明白了事情的來龍去脈後，大喝一聲，太后有令，問百官怎麼現在還不上朝。大家這才清醒過來，看著大家面面相覷的樣子，王曾主動承擔了責任。江德明回去報告劉太后以後，過了一會兒，太后便宣大臣們上朝。

在朝會中，劉太后沒有提及剛才百官不上朝的事，但是在退朝以後，劉皇后把曹利用留了下來。她讓曹利用以後就按祖制來，站到宰相王曾的後面去，但可以站到次相張知白的前面。雖然劉太后給了曹利用很大的面子，但曹利用此時心裡已經很不爽了。他暗中開始積蓄力量，準備對抗王曾。

但是，曹利用暗中積蓄力量的事還是還是沒能逃過劉太后的眼睛。劉太后痛恨的就是這種拉幫結派，結黨營私的事，而曹利用做的事正好是她討厭的，所以，要罷免曹利用是遲早的事。而此時，曹利用的侄子在這種尷尬的情況下，卻又做出了一件出格的事情，將曹利用又往深淵推了一把。

曹利用的侄子叫曹汭，曹汭本來有一個老婆，一個小妾。然而，他老婆比較兇，看他經常寵愛自己的小妾，很不開心，於是每天都找他麻煩。沒辦法，曹汭就將自己的小妾送給了他的一個手下趙崇德，果然，曹汭的妻子再也沒有鬧過。然而，其實曹汭並沒有和小妾斷了聯絡，他只不過是借趙崇德的手，幫自己收留了小妾而已。

但是，小妾慢慢的在和趙崇德交往過程中，愛上了趙崇德，她想要脫離曹汭，於是，她和趙崇德商量了一下，想出來了一條計策。

有一次，曹汭又偷偷來找這個小妾，在聊天玩耍以後，小妾拿出來一件淺黃色的棉襖，交給曹汭，並告訴他，趙崇德幾天後不在，讓他到時穿著這件淺黃色的棉襖來找她。到了約定的時間後，曹汭穿著那件淺黃色的棉襖迫不及待的來到小妾這裡，找她赴約。

就在曹汭和小妾相談甚歡時，突然，趙崇德帶領十幾個隨從破門而入。然而，趙崇德面對眼前的場景，沒有破口大罵，反而帶著眾人突然跪倒在地，然後高呼，萬歲，萬歲，萬萬歲，曹汭被嚇呆了。手中的杯子也沒拿穩掉到了地上。而此時，外面又傳來一陣熙熙攘攘的聲音，是當地知州帶人闖了進來。

好熟悉的一幕，這不正是我們熟悉的“黃袍加身”嗎？原來就在小妾和曹汭喝酒時。趙崇德派人去知州那裡告狀，說曹汭黃袍加身，想要謀反，知州不敢怠慢，趕快來到現場。就在知州闖進門以後，趙崇德趕忙抓住曹汭的衣服，向知州控訴說曹汭要謀反，還逼迫大家下跪，想要大家和他一起謀反，這件淺黃色棉襖就是證物。

曹汭終於明白是怎麼一回事了，他大罵趙崇德栽贓陷害，但此時可以說是人贓並獲，他已沒有了退路。於是，知州下令，將他押進了大牢，並將此事上報給了朝廷。

劉太后聽聞此事後非常吃驚，於是就派自己的親信羅崇勳前去查明真相。羅崇勳也不是一個簡單的人物，他在查明曹汭“黃袍加身”的事件是真事後，回來稟報劉太后，並說，曹汭的這種做法太過惡劣，應當處斬，以儆效尤。但是，羅崇勳並沒有要罷休的意思，他又繼續對劉太后說，曹汭只不過是一個小官，他還沒有膽子做這種謀朝篡位的事，他的背後一定有人給他撐腰，可能還是朝廷大官。

原來羅崇勳和曹利用曾經有仇，而曹汭正好是曹利用的侄子，他這麼做，就是要透過曹汭的“黃袍加身”事件將曹利用拉下馬。而對於劉太后來說，他也正好可以藉此機會罷免曹利用，解決朝廷黨爭的問題。

其實，雖然這樣來看，曹利用被髮配到房州有一點冤，但其實並不是這樣，因為他在朝中得罪了兩類人，所以他遲早是要被排擠到朝廷之外的，只不過是時間早晚而已。

他得罪的一類人是宦官，曹利用在功成名就後，從不給朝中宦官好臉色，這就讓朝中宦官對他十分憎恨。

有一次，宦官羅崇勳做錯了事，劉太后讓曹利用訓斥他。這在其他官員看來，只是做做樣子就好，因為羅崇勳是太后身邊的紅人，他們得罪不起，但是曹利用卻並沒有這麼想。他把羅崇勳押到大街上，下了官服，摘了官帽，讓羅崇勳在大街上跪了一個多小時，從此，他就和宦官們決裂了。

而羅崇勳還有個毛病就是習慣用手指彈腰帶，結果這個現象被宦官們發現了，他們把這件事告訴了劉太后，說他這是不懂規矩。結果，在宦官們時不時的向劉太后打小報告後，劉太后越來越討厭曹利用了。

另一類人就是宗室外戚。當時劉太后為了鞏固自己的政權，大肆封賞皇親國戚。她透過“內降”的方式任命官員。其他大臣們雖然知道劉太后做法欠妥，但都睜一隻眼，閉一隻眼。唯獨到了曹利用這裡，他就是不簽字，沒辦法。皇親國戚得不到官位，找劉太后，劉太后也說自己沒辦法。

他們想了一個辦法，原來曹利用的母親很貪財。於是，他們就給曹利用的母親送去財寶，讓她給自己兒子說說好話，果然，後來那些之前沒有拿到簽字的人都拿到了曹利用的簽字。

這些官員在得到官位以後。就來向劉太后告狀。劉太后覺得雖然曹利用母親貪財，但這不算什麼大事。然而，此時羅崇勳說了一段話後，讓劉太后當即就下定決心罷免曹利用了。

羅崇勳說，太后對宗族外戚施加恩惠，給他們官做，卻被曹利用阻止了。而曹利用的母親卻讓兒子輕鬆就替宗族外戚得到了官位。這不說明太后你的權利還不如一個小小的家韞嗎？劉太后終於下定了決心，這才想找機會罷免曹利用。

所以總的來說，曹利用被罷免，是因為他得罪了太多人，大臣、宦官、宗族外戚等等，因此他後來被罷免也是情理之中的。