害死李崇德之後，李義府依舊狂妄自大，為了改葬自己的祖父，不惜人力、物力、財力，要去七個縣的百姓一起大興陵墓。高縣令為了巴結李義府，親自上陣工作，因為天氣原因和自身體質，高縣令突然倒地猝死。高縣令的死讓朝廷再次沸騰了，文武百官對李義府指指點點。

這件事讓高宗皇帝從心底對李義府產生了強烈的不滿，高宗皇帝對武則天的不滿與此形成強烈的對應情緒。高宗皇帝決定找李義府談談。據《舊唐書》記載：“聞卿兒子女婿皆不謹慎，多作罪過，我亦為卿掩覆，未即公言。卿可誡勖，勿令如此。”李義府為了斂財，大肆賣官，貪汙受賄已經不是一天兩天，高宗針對此事告誡李義府，希望他能好自為之。可李義府聽後，卻質問高宗是何人所說，高宗皇帝聽後，勃然大怒，厲聲責罵李義府，李義府聽後扔下高宗皇帝轉身就走。“義府勃然變色，腮頸俱起，徐曰：‘誰向陛下道此？’上曰：‘但我言如是，何須問我所從得耶！’義府睆然，殊不引咎，緩步而去。上亦優容之。”——《舊唐書列傳》

高宗皇帝再也不能容忍李義府藐視自己的權威，與此同時，他想扳倒李義府來削弱武則天的勢力。他要讓武則天知道，天子的權威不可藐視，武則天的生死還是操控在自己手裡。據《資治通鑑》記載：“及得志，專

作威福，上欲有所為，動為後所制，上不勝其忿。”

於是高宗皇帝決定給李義府安個罪名，將李義府流放。就在這時，不安分的李義府又出了事。他找了個算命先生給自己面相，算命先生說李義府不久會有牢獄之災，要多斂財才能鎮住牢獄之氣。李義府信以為真，大肆賣官斂財。此時，長孫無忌家族後代中的一個人想做官，他找到了李義府，將錢給了李義府換來了一個六品官階。這個事情很快就上報給了高宗皇帝，高宗皇帝給李義府安了一個“勾結謀反勢力”的罪名，將李義府流放到很遠的地方去了。

武則天得知了這一訊息後卻無動於衷，她知道，高宗皇帝是針對自己才流放李義府。此時李義府已經不得人心，如果要保他，恐怕自己也會引火燒身。武則天只好放手不管，不再過問此事。

武則天的不迴應卻沒有緩和與高宗的關係，不久，高宗就策劃了一場陰謀，要處置武則天。宦官王伏勝上書狀告武則天和道士郭行真搞“厭勝”之術，這個預謀就跟武則天當年對付王皇后一模一樣。郭行真與高宗和武則天都有密切來往，武則天深刻知道，巫術並不能起任何實質性作用，她怎麼可能用這樣不切實際的手段去對付高宗呢。這顯然是一場誣告，然而這誣告背後的人一定是高宗皇帝。除了高宗皇帝撐腰，誰還敢與武則天爭鋒。武則天心裡如明鏡一般，她只有按兵不動，看高宗皇帝如何收拾局面，如何對付自己。

高宗皇帝並沒有想好對付武則天的對策，他對武則天的不滿越發強烈，可是他不知道如何處置武則天最合適。於是，他找來了一直非常欣賞的大臣上官儀。

上官儀是大唐有名的才子，又是一個敢於諫言的忠臣。據《舊唐書》

記載：“遊情釋典，尤精《三論》，兼涉獵經史，善屬文。”他的詩詞歌賦雖然沒有李白的詩那樣家喻戶曉，但他的詞風清絕雋永，被當時很多“士大夫”模仿，被稱為“上官體”。這樣才華橫溢的文人型大臣，深得高宗欣賞和喜歡，兩人常吟詩作對，上官儀和高宗皇帝的交情也非常深。但是這樣的文墨大臣難免在政治上會不夠客觀和理智，上官儀的仕途過於順利，文人情懷濃重，政治手腕卻差很遠。他深受儒家思想薰陶，對女人參政非常介懷。於是，上官儀嚴肅地向高宗皇帝提出了自己的意見。據《資治通鑑》記載：“皇后專恣，海內所不與，請廢之。”

上官儀上書提出廢掉武則天，這個建議讓迷茫又無措的高宗找到了方向，高宗藉著心中的不滿，把自己多年來的委屈和辛酸統統說給上官儀聽，上官儀作為臣子，不由得為高宗皇帝感到難過，兩個人更加堅定了要廢除武則天的信念。就這樣，高宗命上官儀起草詔書，廢掉武則天的皇后位置。

上官儀的上書很快被武則天的情報網捕獲，據《資治通鑑》記載：“左右奔告與後。”武則天知道後，馬上決定去找高宗皇帝理論。此時詔書上的墨跡還沒有幹，武則天就出現在高宗面前，彷彿從天而降一般迅速。高宗皇帝一時也懵了，武則天開始哭訴自己的委屈，開始歷數自己過去的政績，提醒高宗自己有能力勝任皇后，武則天說完政績，又開始說自己與高宗過去的生活，點點滴滴記得那麼清晰，高宗也不由得吃了一驚。這時，武則天搶過詔書，質問高宗皇帝為何要廢掉自己，必須給自己一個理由。高宗皇帝一時語塞，竟然說不出話來。感性又懦弱的高宗被武則天軟硬兼施搞得尷尬難堪。高宗只好把責任推卸給上官儀，說是上官儀出的主意。據《資治通鑑》記載：“我初無此心，皆上官儀教我。”軟弱的高宗皇帝找到了一個臺階，就如抓到了救命稻草一般，將上官儀推了出去。

上官儀被夾到中間，甚是無奈，他嘆了口氣什麼都沒有說。從此武則天記恨上官儀，終於她找到了一個絕好的機會。《舊唐書》記載：“王伏勝與梁王忠抵罪，許敬宗乃構儀與忠通謀，遂下獄而死，家口籍沒。”