傳說，東漢時，有下邳人劉綱，原為上虞縣令，後因喜愛四明山水，便棄官偕夫人樊雲翹，拜白公為師，向他學道鍊丹。劉、樊二人在學道過程中，常比道術；劉綱作火燒礁屋，夫人禁之則滅；庭中有桃樹兩枝，各咒一樹，使之相鬥，劉綱所咒之桃不勝，走出籬外；劉綱唾痰盤中成鯉魚，夫人唾痰成水獺吃掉鯉魚；劉綱與夫人上四明山遇虎，劉綱禁虎不動，夫人則繩擊虎頭而摔回床邊。最後得道仙時，白公也腳踏祥雲來到大崗，口稱“爾等夫婦道心精誠，心地善良，已成正果”，說完，劉、樊二人在大崗山頂，白日昇仙。劉綱先上皂莢樹而上天，夫人則平坐雲氣，冉冉飛舉。傳說雖然離奇，但足見此處山水靈秀。

因這四明山與東安、祁陽、邵陽、冷水灘等相鄰，“ 四望皆明 ” 而得名。山勢陡峻，切割強烈，四明山海拔 1000米以上的山峰3座，境內以楊村甸騰雲嶺為最高峰，海拔1044米；800米以上的6座。登臨山中，遠觀山翠如黛，嶺斷雲連；秋看楓紅似火，黃葉翻飛。