這裡首先糾正一下，李淵真正公開造反的時候是大業十三年（公元617年），這時候李淵麾下有三萬多人，並不是像題目裡說的僅有幾千人馬。

在這之前，李淵擔任隋朝太原太守。而山西一帶自古以來就是流寇不斷，李淵在此地出任太守，在一年多的時間裡率領麾下軍隊與各路賊軍接連作戰，在當地打出了自己的威名，又廣開門路，招降納叛，於是軍隊的實力得到了極大的擴充。後來，劉武周起兵造反，李淵受命平叛，接機招兵買馬，進一步拓展了自身的實力。經過一直的隱忍不發，李淵終於在617年的農曆七月正式豎起反旗。

當時隋朝的天下已經一片紛亂，各路義軍紛紛舉起了義旗。但是，各路義軍之間互相排斥，彼此之間混戰不休。隋朝的兵馬又因四處平叛分散於各地，致使關中一帶隋軍守備空虛。趁此良機，李淵出兵向關中一帶進攻，結果數月內就攻進了首都長安。

這個時候，隋煬帝楊廣被義軍包圍在江都（蘇州），李淵宣佈立楊廣的孫子楊侑為帝，尊楊廣為太上皇，至此掌控了關中地區的大局。

618年年初，江都城裡的大臣感到隋朝江山已無前路，於是鼓動守軍刺殺了楊廣。兩月之後，李淵以武力脅迫楊侑禪位，自立為帝，唐朝正式建立。

縱觀整個造反過程，李淵的每一步都可謂是謀後而動，雖然只有三萬人馬，卻看準了隋朝的要害，雷霆一擊，出手致命。

李淵對大局的理解也與同時代的人不一樣。豎起反旗之後，多數人都會選擇自立為帝，以滿足自己的虛榮心，而後對同樣自立為帝的其他人兵戎相見。而李淵則是先卡住隋朝的命脈，之後孤立隋朝的現任君主，直至局面被完全掌控後才登基為帝。

大業(605~617)末年，因隋煬帝的暴政，引起天下大亂，農民軍遍地而起，統治集團內部也開始離心離德。 李淵在此時暗中積聚和壯大自身實力，待時機成熟便公開打出反隋旗號。

大業九年(613)，李淵擔任弘化鎮(今甘肅慶陽)留守，兼領關西諸軍 。此時天下大亂，於是便暗中交結豪傑。大業十一年，李淵任山西 (今大行以西)、河東(黃河以東)撫慰大使，率部鎮壓山西、河東農民起義 軍。李淵擊潰了絳郡(今山西絳縣)的農民軍，收降了數萬之眾加入他的部隊。大業十二年，李淵被任為太原留守。李淵對這個任命十分滿意，更加積極地做反隋的準備。

當時太原的形勢比較嚴峻，北有突厥虎視眈眈，南有歷山飛(即魏刀兒)率領的農民軍正在迅猛發展。針對此種形勢，李淵制定了北和突厥，南擊歷山飛，穩固太原的戰略方針。這年底，突厥南下侵擾，李淵雖然擊敗了突厥的進攻，但他盡力和突厥保持友好關係。穩和突厥的同時，李淵擊潰了歷山飛農民軍，收降了大量潰散的農民軍，進一步壯大了自己的實力。

李淵本來就喜歡交結人物，任太原留守後，更加留意網羅人才，積極進行組織準備。李淵還指使遠在河東的長子李建成“潛結英俊”，近在身邊的次子李世民“密接豪友”。李淵父子結納的關隴士族和英俊豪傑主要有下列一些人:裴寂，時任晉陽宮副監；劉文靜，時任晉陽縣令；劉世龍，時為晉陽縣晉陽鄉鄉長；趙文恪，任鷹揚府司馬；張平高，鷹揚府校尉；李思行， 罪居太原；李高遷，隋末客居太原；許世緒，鷹揚府司馬；錢九院，原為官如 隸，投靠李淵；唐儉，勸李淵父子創“(商)湯、(周)武(王)之業”，受到李洋器重；長孫順德，避遼東之役逃匿太原；劉弘基，避遼東之役，亡命太原； 嶠，隋末任人谷(今屬山四)縣長；劉政會，太原鷹揚府司馬。上述諸人在置 陽起兵和定鼎關中的戰鬥中，起了舉足輕重的作用並建立了赫赫戰功。 朝建立後均被稱為“元從功臣”。

經過多年暗中積累和壯大實力，當隋朝在各地農民起義軍的猛烈衝擊下即將分崩離析之際，李淵於大業十三年七月在太原起兵，公開打出反隋旗號。