最大的原因是楊素在楊廣登基第二年就死了，就是想奪位也沒機會。其次楊廣對楊素十分防備，楊素不大敢造反。

楊素與隋文帝楊堅同族，幫助楊堅平北齊滅南陳，功勞赫赫，後來又幫楊廣繼位，並且幫他平定了楊廣親弟楊諒的反叛，對兩代帝王都立下了汗馬功勞。而他本人勢力也在楊廣大業年間達到了極盛，官拜尚書令，權傾朝野。但遺憾的是在楊廣登基第二年楊素就與世長辭。

楊素去世的時候已經64歲，對古人來說算是高齡，所以楊廣登基後，身為老人的楊素即使想造反也是有心無力，他已經無法像年輕時那樣肆意征戰沙場。並且人年老之後，不是所有人都還能“老驥伏櫪，志在千里”，楊素當時很可能已經不在乎皇位，史書記載他曾對親人說不想再這樣每天都戰戰兢兢，甚至產生了死亡的念頭。所以楊廣繼位後的楊素可能只想過個安穩日子，而當皇帝註定是安穩不了的。

楊素年輕的時候就不小心流露出來對皇位的覬覦，並且因此招致了楊堅的忌憚，差點葬弄了自己的大好前程。楊廣肯定也知道這件事，所以也對他很忌憚，希望他快點死，甚至涉嫌從楊素的藥中下毒。楊素心裡清楚楊廣對自己的忌憚，自己的一舉一動都被楊廣監視，如果貿然反叛很有可能失敗。後來他兒子反叛失敗也證明楊素對現實的清醒認知。

所以楊素既不想造反，也不敢造反，對他來說，安穩度過晚年才是他想要的。