少林寺起源於北魏時期。少林寺創建於北魏太和十九年（495年），孝文帝拓跋宏為安頓來朝傳授小乘佛教的印度僧人跋陀，在與都城洛陽相望的嵩山少室山北麓敕建而成。永平元年（506年），印度高僧勒拿摩提和菩提流支先後到少林寺開闢譯場，在少林寺西臺舍利塔設立翻經堂翻譯經書。之後，慧光在少林寺弘揚《四分律》等師說，經多代發展，後世最終形成四分律宗。北魏孝明帝孝昌三年（527年），釋迦牟尼佛第二十八代徒菩提達摩來到少林寺，他在跋陀開創的基礎上，廣集信徒，傳授禪宗，東魏孝靜帝天平三年傳法于慧可，從此禪學在少林寺落跡流傳。少林寺寺內外碑銘繁多，其中元代碑銘不僅數量可觀，且大都具有珍貴的文化價值。它是研究元代宗教、政治、歷史、書法藝術、中外交流的不可多得的實物文獻。在少林寺甫道右側“慈雲堂”碑廊裡，奇碑珍銘琳琅滿目。其中有兩通面南而居、巍然屹立的大碑，西邊的一通就是“大元贈大司空開府儀同三司追封晉國公少林開山光宗正法大禪師裕公之碑”（注：裕公，即福裕法師）。這座碑，翻開了元代大少林禪寺歷史的第一頁。論書法之精妙，要數《大元重建河南嵩山少林禪寺蕭梁達磨大師碑敘》。此碑建於至正七年（1347年），碑文高3.23米，寬1.38米，撰於後至元五年（1339年），出自當時文人歐陽玄之手。而碑文的書丹則為元代大書法家康裡巎巎。《大元重建河南嵩山少林禪寺蕭梁達磨大師碑敘》不僅有較高的書法藝術價值，還有一定的文獻價值。

北魏時候拓跋宏為安頓來朝傳授小乘佛教的印度僧人跋陀

少林寺，位於河南省鄭州市登封老縣城西北13公里少室山北麓五乳峰下。若從鄭州、開封、洛陽乘汽車，可直達寺院門前。少林寺創建於北魏太和二十年（496年），因此寺建於少室山麓的叢林茂密之處，故名“少林”。正如《說嵩》中所說：“少林者，少室之林”。少林寺是中國佛教禪宗的發樣地，所以又稱《少林禪寺》和《大少林》．據文獻記載，北魏太和十九年（495年）印度高僧跋陀自西域跋涉來洛陽，他0幽棲，常到嵩山，又受孝文帝尊崇，“詔於少室山陰，築少林寺而居之”。

北魏正光至孝昌年間，另一印度僧人達摩來中國，修禪於嵩山少林寺。

他廣集弟子，傳授禪宗，使少林寺的影響日益擴大，傳說達摩曾在山中面壁九年，因此留影於石。