楊暕在隋煬帝心目中的形象越來越差了。隋煬帝不僅不提讓他當太子的事，反而故意讓人去挖掘楊暕的過失。一個皇帝如果想找人麻煩，那不是易如反掌嗎？馬上，一件事就被揪了出來。當時制度規定，縣令無故不得出境。

但是，有一個伊闕縣令叫皇甫詡，很受楊暕喜愛。楊暕就違反了禁令，偷偷帶他出境到汾陽宮，一起尋歡作樂。隋煬帝此時正找楊暕的碴兒，有一個御史叫韋德裕，就投其所好，把這件事揪了出來，彈劾楊暕違制。面對韋德裕的彈劾，隋煬帝怎麼處理呢？他大張旗鼓，命令一千多個士兵包圍了齊王府邸，進行掘地三尺的搜索，務必搜出更多的罪狀來。就在這樣的窮追猛打之下，有一件醜事終於曝光了。

齊王楊暕的妃子韋氏很早就去世了。楊暕放著那麼多美女不喜歡，偏偏喜歡上了韋氏妃子的姐姐。既然如此，把韋家姐姐納入齊王府不就行了嗎？又不行。因為這個姐姐當時已經嫁給了一個姓元的人，是已婚婦女。喜歡韋家姐姐，又不能娶她，怎麼辦？楊暕就和韋家姐姐暗地私通，而且還生了一個女兒。

這也罷了，更要命的是，有一天，齊王楊暕居然請了一個看相的先生給他的妃子們相面，而且還把韋家姐姐安排到了妃子的隊伍裡。看相的靠什麼賺錢？不就是察言觀色嗎？這位先生馬上就看出來，齊王對韋家姐姐情有獨鍾。既然如此，就投王爺所好吧。看相的先生把其他妃子都撇在一邊，單指著韋家姐姐說：“此產子者當為皇后。”他這麼說，齊王楊暕自然高興。韋家姐姐命裡該當皇后，那就意味著他命裡該當皇帝嘍。可是，當時的情況是隋煬帝遲遲不下詔令，讓自己當太子。

這讓楊暕很著急。皇帝為什麼不立自己當太子？楊暕不從自己身上找原因，反倒恨起大哥元德太子的三個兒子來。他覺得，大哥雖然死了，但是留下了三個兒子。這可是長房長孫啊，萬一隋煬帝改變主意，不立兒子，要立孫子怎麼辦？要確保自己接班，只能讓這三個侄子去死了。

怎樣才能讓三個活蹦亂跳的孩子死呢？楊暕用起了古代人的老辦法，當然也是最笨的辦法厭勝，企圖用詛咒的方法咒死三個侄子。而要施行厭勝，肯定會用到小木偶之類的東西。現在，隋煬帝對齊王府邸進行掘地三尺式的偵查，這些罪行當然無法掩蓋，都被揭露出來了。揭露出來之後怎麼辦？隋煬帝大發雷霆，把那幾個幫齊王尋找聲色犬馬的官員斬首，讓韋家姐姐自殺，還有好多府僚都流放邊疆。