和文帝的路線不一致了，文帝晚年易儲表明他已經決定將國家重心向關東轉移，高熲與太子楊勇一直是關中本位的支持者，所以他下臺是隋朝國政轉向的必然結果。

根據史料記載，高熲失勢的直接原因，是因為他反對隋文帝廢太子楊勇，導致君臣關係出現裂痕。此後率軍出征遼東，又得罪了漢王楊諒，而壓垮駱駝的最後一根稻草，是上柱國王世積案，隋文帝認為高熲洩漏宮闈秘事，雖然百官求情，還是被連坐免官，後因擅自議論隋煬帝，最終被冤殺。

高熲作為元勳重臣，有舉足輕重的地位，像儲君廢立之事，皇帝自然要詢問他的意見，雖然曾隨晉王楊廣滅陳，但高熲認為，長幼有序，不同意廢掉太子楊勇，隋文帝默然無語，君臣之間第一次意見不和。加上獨孤皇后的枕頭風猛吹，高熲逐漸被疏遠。

後來高熲反對征伐遼東，但是皇帝堅持，算是第二次意見不和，高熲隨漢王楊諒出征，是軍隊的實際指揮者，但是並沒有照顧到領導的面子，漢王楊諒也不客氣，回京後就告了黑狀，把高熲一腳踹進了坑。

上柱國王世積被抓，經審訊供認，很多內部訊息都是從高熲那聽說的，臣不密則失身，這還了得，作為隋文帝近臣，很多秘密事情，高熲都是參與者，居然嘴上沒有把門的，徹底失去了皇帝的信任。

作為朝廷大臣，得罪了皇帝，皇后，繼任太子，皇子，還被認定是個大嘴巴，失寵丟命，都是可以預見的。

高熲，早年追隨楊堅，楊堅還沒有建立隋朝時，他在楊堅門下擔任相府司錄。隋文帝建立隋朝後，任尚書左僕射兼納言，旋拜左衛大將軍。當他了解到隋文帝有一統天下之心後，就向隋文帝推薦了賀若弼、韓擒虎，以做滅陳準備，最終，隋軍兵分幾路成功滅掉陳朝，高熲因滅陳有功加授為上柱國，晉爵位為齊國公，賞布匹九千段，定食邑為千乘縣的一千五百戶。隋文帝也非常器重高熲，稱他“獨孤公猶鏡也，每被磨瑩，皎然益明”，可就是這麼一個受到重用的大臣，卻遭遇了從權臣到庶民的遭遇。

當時，隋文帝想廢掉楊勇，向高熲徵求意見，可高熲說這萬萬不可，長幼有序，高熲的話被獨孤皇后聽到後，心裡對高熲產生不滿。於是，在獨孤皇后的離間下，隋文帝漸漸疏遠高熲，又因王世積供出高熲曾對他說過宮中之事，隋文帝知道後便十分惱火，加之朝廷大臣都替高熲求情，使得隋文帝將這些為高熲辯白的人都交給執法官員處理。從此以後，朝中大臣沒誰敢開口為高熲求情。高熲也因此被免官，還免去了職位。

隋煬帝即位後，因高熲在其手下工作過，便提拔其為太常。他看見隋煬帝生活奢靡，就進言要以史為鑑，不要勞民傷財，這就使得隋煬帝對其厭惡。後因其評論朝政“近來朝廷殊無綱紀”的事被人舉報了，隋煬帝知道後以其誹謗朝政為由，下令處死了他，並把他的子孫發配邊疆。