楊素出身北朝士族，是弘農楊氏之後，此人在北周時任車騎將軍，參加了平定北齊之役。

公元580年五月十一日，時年二十二歲的北周宣帝宇文贇病死，宇文贇傳位給年幼的長子宇文闡，是為周靜帝。

宇文贇病逝前，御正下大夫劉昉、內史上大夫鄭譯偽造詔書讓身為外戚的楊堅輔佐朝政，宇文闡即位以後拜楊堅為左大丞相。由於楊堅施政寬和，精簡嚴刑酷法並且躬行節儉，人心逐漸向他歸附，楊素就是在此時投靠楊堅的。

楊素此人雖是士族出身，但卻頗有才幹，因此楊堅對他很是器重。

由於楊堅長期把持朝政引起了同為重臣宿將的尉遲迥不滿，尉遲迥遂起兵反對楊堅，滎州刺史宇文胄也據有武牢來相應尉遲迥。在這次平叛過程中楊素領兵攻打宇文胄，將其斬殺，由此立下戰功。

公元581年二月，宇文闡被迫禪位給楊堅，楊堅即位建立隋朝，有著從龍之功的楊素被楊堅加封為上柱國。

楊堅即位時天下尚未一統，隋的南面還有陳朝與之隔江相峙，楊素積極進言獻策謀求攻滅陳朝。公元585年十月，楊素被任命為信州總管，經略長江上游，為伐陳做準備。三年後，楊堅以楊廣出六合、楊俊出襄陽、楊素領水軍出永安，三路大軍共計五十一萬八千人大舉伐陳。楊素率軍沿長江擊破陳的沿江守軍，順流東下。

公元589年2月10日，隋軍攻入建康城，俘獲陳後主，南朝中最後一個朝代陳朝就此滅亡。楊堅因為楊素在滅陳之役中的功勞特意加封楊素之子楊玄感為上開府，並賜彩物三千段。

此後，楊素又剿平匪患、大破突厥，立下了赫赫戰功，身為主子的楊堅也不吝賞賜。

根據現有的歷史文獻資料記載，公元601年，楊堅賞賜楊素良駒一百匹、母馬兩百匹、奴婢一百口。公元602年，楊素的一個兒子被封為義康郡公，食邑一萬戶，世代承襲，並賜給良田三十頃，絹米、財帛和珠寶更是數不勝數。

楊素有了這些鉅額的賞賜加上自己本身的家庭條件優渥，能夠過上奢侈的生活對他而言是輕而易舉的。楊素的財富不是偷搶而來，而是靠著自己的才幹艱苦打拼積攢下來的。

對於皇帝而言，一個功勳卓著的臣子貪圖享受並非什麼壞事。事實上，楊素在楊堅臨朝後期依仗著自己位高權重在朝廷上作威作福，於是有大臣彈劾楊素的所作所為，楊堅因此逐漸疏遠和猜忌楊素。

楊堅雖然剝奪了楊素手中的權力，但是對於他的奢侈私生活並未干涉，這恐怕還是念及楊素對於隋朝的功勳，這一點與他對待親兒子楊勇的態度上形成了鮮明對比！

楊素出身於貴族，是關隴集團精英式的人物。

不同於貴族子弟多紈絝的套路，楊素可以說是個文武全才的人物。

楊素少即成名，聰穎過人，名聲已是相當於今天的網路紅人。

楊素書法很有造詣，工於草書和隸書。文采也是相當有造詣。日後任職於隋朝的左撲射，相當於宰相。

而在隋文帝統一江山的過程中，楊素也是屢立戰功。

破北齊，敗突厥，平叛匪患楊素的武力對於敵人是相當有震懾性。

這樣的滅火隊長是隋文帝的左膀右臂，是隋朝統一不可或缺的人物。

而歷史上，對於建有大功的功臣是相當危險的。

而楊素出將入相，在功臣的地位極高，聲望日隆。可也是隋文帝重點防範物件，對於開國元勳，皇帝最忌憚他們沒有愛好。認為這是在積累人氣，對帝國造成了威脅。

楊素愛銀子，反而讓隋文帝放心。這是說明他胸無大志的表現，所以隋文帝是預設的態度。