泰山大約形成於三千萬年前的新生代中期。泰山的地層是由世界上最古老的岩石之一構成的，主要是混合巖、混合花崗岩及各種片麻岩，其中還有許多火成岩體侵入。變質時代距今24.5億年，侵入於其中的偉晶岩最古老的年齡是25.86億年，屬於地殼發展史上的太古代。這時魯西地區（包括泰山在內）曾經是一個巨大的沉降帶或海槽，上面堆積了上萬米厚的泥砂質岩層和一些基性火山岩。繼而又發生了強大的造山運動，即泰山運動，使沉降帶原先堆積的岩層褶皺隆起為古陸，形成了規模巨大的山系。古泰山露出了海面。同時伴隨著岩層的褶皺產生了一系列斷裂、岩漿活動和變質作用，使原先沉積的岩石發生變質。在泰山山麓的南緣，出現了一個大致呈東西走向的泰山弧形深斷裂，成為泰山發展變化的肇始。隨後又遭受多次強烈的混合巖化和花崗岩化作用，逐漸變成了今日在泰山上所看到的各種變質岩和混合巖。　　峙立於海平面上的古泰山，經過近二十億年的長期風化剝蝕，地勢漸趨平緩。到距今六億年前左右的早古生代，華北廣袤地區大幅度平穩下降，古泰山又沉淪於大海中。大約又經歷了一億多年，古老變質岩的剝蝕面上逐漸沉積起2000多米厚的沉積岩地層。早古生代末期，整個地區再次抬升為廣闊無限的陸地，古泰山隆起為一個低矮的荒丘。距今二三億年的晚古生代中晚期，華北地臺重又下降，併發生了多次海侵，古泰山成了大海中的孤島。而後又繼續上升，進入大陸發展階段，地勢高差不大，基本上形成了丘陵地形。　　距今約一億多年前的中生代晚期，由於太平洋板塊向亞歐大陸板塊擠壓和俯衝，泰山在燕山運動的影響下，地層發生了廣泛的褶皺和斷裂。在頻繁而激烈的地殼運動中，泰山山體沿著百餘公里（自今萊蕪至泰安市）的泰前大斷裂快速抬升。並在隆起的過程中遭受風化剝蝕。這時因斷塊發生了間歇性的升降差異，南部山區猛烈抬升，造成了南高北低的明顯掀斜斷塊山。最後在山體高處，原來覆蓋著的2000多米的沉積岩全部剝蝕掉，古老的泰山雜巖重見天日，開始形成了泰山的雛形。受變質影響的花崗岩，因抗蝕性強，就構成了峰巒高崖。　　泰山在距今六七千萬年前的新生代初期，由於喜馬拉雅山運動的影響，即沿泰前斷裂繼續大幅度的抬升，至距今約三千萬年前的新生代中期，今日泰山的輪廓才基本完成。所以，如今泰山主峰及其周圍的山巒，海拔多在千米以上，而且古老雜巖裸露。主峰南麓的泰安市海拔僅153米，自市區至泰山極頂僅9公里，其相對高差竟達1392米。大自然的鬼斧神工，使泰山谷幽壑深，壁立千仞。明太祖朱元璋御製《岱山高》中說：“岱山高兮，不知其幾千萬仞；根盤齊魯兮，不知其幾千百里；影照東海兮，巍然而柱天。”

在距今1億年左右的中生代後期，受燕山運動影響，山南麓產生數條北東東向高角度正斷層，其中最南一條，就是泰前斷裂。處於斷裂北盤的古泰山，一方面抬升隆起，另一方面經歷風化剝蝕，原覆蓋在古老變質岩上的近2000米厚的沉積蓋層全被剝蝕，20多億年前形成的變質岩重新出露地表，從而開始形成今日泰山的雛形。

至距今6千萬年至7千萬年的新生代，受喜馬拉雅山運動影響，泰山沿泰前斷裂繼續大幅度抬升；至距今3千萬年的新生代中期，今日泰山輪廓基本形成。爾後，經長期風化剝蝕，以及其他外力地質作用的加工塑造，逐漸形成今日泰山的地貌景觀。