隋文帝沒有殺揚素主要有三個原因：

第一，楊素並不是真的“有謀反之心”，只是和他老婆吵架時氣急了口不擇言的說“我若作天子，卿定不堪為皇后”。被他老婆告訴了獨孤皇后，皇后又告訴了隋文帝。隋文帝雖然生氣，但不至於真的去相信一句氣話。

第二，當時隋還沒有統一，隋文帝不可能因為一句氣話把揚素這樣得力干將殺掉。隋文帝需要這樣一位能征善戰的將軍。

第三，揚素是出了名的怕老婆，而隋文帝也一樣，所以隋文帝對揚素比較同情。

隋朝權相楊素出身弘農楊氏，跟隋文帝楊堅屬於同族，年輕時以胸懷大志、不拘小節見稱。根據史料記載，楊素年輕時明顯是個“混不吝”，不僅生就一副天不怕地不怕的性格，而且為人口無遮攔，一旦發起狠來，有時候連皇帝都敢罵。比如在北周年間，楊素便因為父親楊敷死後追封事宜，竟跟周武帝“尥蹶子”。

原來，楊敷在北周官至驃騎大將軍、汾州刺史，曾率孤軍守衛汾州城，在糧盡援絕的情況下，最終被北齊名將段韶俘獲，並被押往鄴城。楊敷被俘後寧死不屈，斷然拒絕北齊的招降，最終竟絕食而死，時在天和六年（571年）。楊敷遇難後，朝廷不知出於何故，竟然遲遲沒有進行追贈、褒獎，由此令楊素大為不滿。

楊素為了給亡父討說法，便接二連三地向周武帝上表申訴，而且言辭中多有怨恨、不恭之處，時間一長便把皇帝給惹毛了。周武帝非但拒絕給楊敷追贈、褒獎，反而下令將楊素處死。沒想到楊素並沒有感到恐懼，也沒有向皇帝叩首乞生，反而大聲嚷嚷道：“給這樣無情無道的昏君做事，我楊素死是應該的。再說死有什麼可怕的？大不了二十年後又是一條好漢！”

沒想到經過楊素這一番折騰，周武帝非但沒有暴跳如雷，反而對其刮目相看，認為他是個頂天立地的漢子，於是下令赦免楊素的死罪。緊接著，皇帝又下令追贈楊敷為大將軍，諡號忠壯，同時又拔擢楊素為車騎大將軍、儀同三司。此後，楊素越來越受到周武帝的器重，一時間被朝野傳為美談。

武帝親總萬機，素以其父守節陷齊，未蒙朝命，上表申理，帝不許。至於再三，帝大怒，命左右斬之。素乃大言曰：“臣事無道天子，死其分也。”帝壯其言，由是贈敷為大將軍，諡曰忠壯。拜素為車騎大將軍、儀同三司，漸見禮遇。見《隋書·卷四十八》。

權臣楊堅執掌北周朝政後，楊素出於利害關係，便對他傾心投靠，併為其剷除異己、篡位稱帝立下大功。隋朝建立後，楊素被任命為御史大夫，後因獻納平陳之策並跟隨楊廣滅陳，得以升任宰相。此後，楊素又暗助楊廣奪取太子之位，並幫助他順利登基。而煬帝登基後為報答楊素，便任命他為尚書令，拜太師、司徒，封楚國公，無論是官職還是爵位，都達人臣之極。

雖然在隋朝做了宰相，儘管此時楊素已經年逾不惑，但此君口無遮攔的毛病卻絲毫沒見改變，並因此差點兒落得被滿門抄斬的結局。原來，楊素雖然權勢熏天，卻跟隋文帝一樣，有個“懼內”的傳統，平日裡對老婆鄭祁耶怕得要命。就因為楊素某日跟鄭祁耶吵架，才惹出了一場大風波。

且說隨著權勢和地位的不斷攀升，年逾不惑的楊素開始動了納妾的心思，準備把在外包養的女子迎娶過門，給她們一個正式的名分。沒想到楊素剛把想法透露給老婆，鄭祁耶便撒起了潑，一邊對老公破口大罵，一邊對他進行追逐、撕打，場面一時間無比搞笑、混亂。

楊素貴為宰相，被老婆這一番鬧騰，心中羞憤不已，便對鄭祁耶怒吼道：“你這個潑婦，忒不講道理，如果我做了天子，一定不會立你為皇后！”說完拂袖而去。按說夫妻間吵架拌嘴很正常，大不了床頭吵架床尾和，互相諒解一番也就過去了。沒想到鄭祁耶氣不過丈夫對她的怒吼，竟然一溜煙地跑到皇宮，把楊素說的氣話全部上報給隋文帝。

隋文帝很清楚楊素說的不過是句氣話，再加上同病相憐，便不想治他的罪。所以在聽完鄭祁耶告發後，隋文帝只是微微一笑，並沒有處置楊素的意思。沒想到，孤獨皇后此時卻為鄭氏出頭，堅持要求皇帝嚴懲楊素。文帝不敢違逆老婆的意見，只好將楊素罷官，但卻留住了他的性命（“其妻鄭氏性悍，素忿之曰：‘我若作天子，卿定不堪為皇后。’鄭氏奏之，由是坐免。”引文同上）。

楊素雖然被免官，但因為文帝倚重於他，所以不久後便又讓其官復原職。不過經此一事，楊素也開始變得謹慎小心起來，無論在朝堂上還是在家裡面，都不敢再口無遮攔。而正因如此，楊素才得以長期保持榮華富貴，並最後得以善終。