據說，在五代的時候，有個日本和尚叫慧鄂，在五臺山求得一尊觀音，準備東渡帶回日本，當船到舟山群島的時候，海上起了大風浪，接連三次都沒有走了，日本和尚認為肯定是觀音不願去日本，於是和老百姓在當地建了一座不肯去觀音寺，供奉這尊觀音，就是普陀山觀音菩薩像。

普陀山拜觀音菩薩。當年鑑真東渡的時候，從五臺山請了尊觀音菩薩像，乘船往日本去。結果船總是遇到風暴，又漂回普陀山。所以就在此修建了廟宇，名為不肯去觀音寺，專門供奉菩薩像。

普陀山是觀音菩薩的道場。普陀山主要供奉觀世音菩薩。普陀山同時還供奉著釋迦牟尼佛、阿彌陀佛和藥師佛等佛菩薩像。