1883年農曆九月初八，閻錫山出生于山西五臺河縣河邊村一個以經商為主的小地主家庭。閻錫山祖父閻青雲經商有道，積累了家底，其父閻書堂更是14歲便輟學經商，開了家“吉慶昌”商號，自己做掌櫃。閻錫山的母親曲月清在生他之前，夢見自己遊覽五臺山的大孚靈鷲寺，還從寺中抱出了一個男孩，之後不久便生了閻錫山。因這段典故，閻錫山很得祖父閻青雲的喜愛，認為這是個貴子，因而為閻錫山取乳名“萬喜”，閻錫山本人也因此多次去大孚靈鷲寺上香。

閻錫山5歲時，母親曲月清身染重病，不久去世。其父閻書堂不久便續絃，但女方答應續絃的前提條件是“不養前家子”，所以閻錫山被送到外祖母家生活。因寄人籬下，閻錫山自小性格就沉默寡言，躁靜不定，頑皮難馴。

閻錫山6歲的時候被外公送入了小堡公立私塾，進行啟蒙教育，啟蒙老師叫曲溫，先後教閻錫山學習了《三字經》、《百家姓》等啟蒙讀物。曲老師對他十分賞識，說：“此子異於常童”，“先一日所教者，翌晨多能背誦”。祖父閻青雲因此對閻錫山寄予厚望，決定親自撫育。

3年之後，閻錫山被祖父接回，進入閻青山自己設立的大堡義塾，師從當地名師曲本明，學完了四書五經等舊學。曲先生教學極嚴，閻錫山因性格頑劣，經常捱打，同窗因此還編了一首順口溜給他：“萬喜子，挨板子，雙手腫成氈片子，頭髮扭成一卷子，鼻涕掉了兩管子，褲襠滴出尿點子，草包從此露餡子。”

5年之後，14歲的閻錫山便輟學回家，隨父親到自家開設的錢鋪學習經商，參與放債收息及金融投機，學到了許多經濟學的知識。由於繼母一直無出，家中希望閻錫山儘早成家，便在這一年張羅著為閻錫山娶了徐竹青為妻。14歲的閻錫山在懵懂中成為了一家之主。

1900年，閻書堂的錢鋪倒閉，閻錫山隨父躲債，流落太原。為了生計，他四處打工，給客棧當店員。

1902年，閻錫山參加了山西武備學堂的招生考試，並被錄取。在接受了初步軍事教育後，他被官費保送到日本留學，進入日本士官學校學習。在資產階級民主革命思潮的影響下，閻錫山於1905年10月加入同盟會，會見孫中山，並參與制訂了同盟會“南響北應”的戰略決策。

不久，閻錫山又遵照孫中山的指示，聯合同盟會中學習軍事的李烈鈞、程潛等28人成立鐵血丈夫團。辛亥革命時，這群人是各省起義的主要軍事領導者。

1909年，26歲的閻錫山從日本士官學校畢業回國，任山西陸軍小學堂教官、監督。當年11月，他奉召赴京參加陸軍部舉辦的留日歸國士官生會試，考列上等（分優上中三等），成為陸軍步兵科舉人並被授予協軍校（相當於少尉）的軍銜。閻錫山在幾個月之內即升任山西新軍第四十三協第八十六標教練官與標統（相當於上校團長）。自此之後，閻錫山一面致力於訓練新軍，培植幹部；一面成立“俱樂部”，結交革命黨人，宣傳革命。

辛亥革命爆發後，在太原的同盟會員密謀響應。1911年10月28日，閻錫山等同盟會員率軍起義，起義軍攻入城內，殺死山西巡撫陸鍾琦，成立軍政府，公推閻錫山為都督。後來孫中山視察太原時曾說：“去歲武昌起義，不半載竟告成功，此實山西之力，閻錫山君百川之功……倘非山西起義，斷絕南北交通，天下事未可知也。”

自此，閻錫山正式在政治舞臺上嶄露頭角。