東華寺的緣起乃是印度高僧智藥三藏禪師，於南朝梁武帝天監元年（公元502年）航海廣州北上，途經翁源，見此山酷似印度的靈鷲山，如是取名靈鷲山。又觀此山風景如畫，氣度非凡，便建立靈鷲寺，並預言將來有肉身菩薩來此，三年後到曲江曹溪建立寶林寺。唐龍朔元年（公元661年），六祖惠能在湖北黃梅五祖授衣缽後，南歸時遇此山而隱修，重建靈鷲寺並改稱東華禪寺，後去曲江寶林寺。至今翁邑有傳“先有東華，後有南華，“東華悟道，南華弘道”之說，香火鼎盛時期住有數百名僧侶。清天順年間改為東華院，文革期間僧散寺毀，僅剩遺址。

南華寺始建於南北朝梁武帝天監元年（公元502年）。據史料記載，是年印度高僧智藥三藏自廣州北上，途經曹溪，“掬水飲之，香味異常”，“四顧群山，峰戀奇秀”，“宛如西天寶林山地”遂建議在此建寺。天監三年，寺廟建成，梁武帝賜“寶林寺”名。後又先後更名為“中興寺”、“法泉寺”、至宋開寶元年（公元968年），宋太宗敕賜“南華禪寺”，寺名乃沿襲至今。因禪宗六祖在此弘法，也稱六祖道場。

所以是先有東華寺然後才有南華寺的。