大業十三年（617年）農曆七月，李淵率軍三萬誓師，以“廢昏立明，擁立代王，匡復隋室”的名義正式起兵直趨關中。在釋出的檄文裡他斥責隋煬帝聽信讒言，殺害忠良，窮兵黷武，致使民怨沸騰。

誓師後，李淵與長子建成、次子世民揮師南下，先後破守霍邑（今山西霍縣）的隋鷹牙郎將宋老生、渡黃河，對守河東的隋將屈突通圍而不攻。迅速向西南挺進。當時，隋煬帝遠在江都（今江蘇揚州），關內隋軍力量薄弱；中原瓦崗軍與王世充激戰方酣，均無暇西顧。因此李氏父子進軍神速，大業十三年（617年）農曆十一月初九日攻入長安。

十一月十三日，李淵宣佈遙尊隋煬帝為太上皇，擁立其孫代王楊侑為帝，改元義寧，是為隋恭帝。恭帝進封李淵為唐王、大丞相、尚書令，以李建成為唐王世子；李世民為京兆尹，改封秦國公；封李元吉為齊國公。李氏父子完全控制了關中局勢。

義寧二年（618年），李世民徙封趙國公。同年農曆三月，隋煬帝在江都被禁軍將領兵變殺死。同年農曆五月，隋恭帝被迫禪位於李淵，李淵即皇帝位於長安，國號唐，建元武德，定都長安，是為唐高祖。李淵以李世民為尚書令。不久，又立李建成為皇太子，封李世民為秦王，李元吉為齊王。

隋文帝獨孤皇后是李淵的姨母，李淵和楊廣應該屬於表兄弟關係。