黃藥師初來到桃花島時，島上並無桃樹，後來定居於此，依照五行八卦、奇門遁甲的方位種植桃樹，整個小島猶如迷宮，外人如若亂闖，必然陷於桃花陣中。在小說中，桃花島屬於舟山群島，位於浙江省東部。

在《倚天屠龍記》中，韓千葉是靈蛇島島主，陽頂天還在世時，韓千葉獨身一人上光明頂找陽頂天報仇。陽頂天曾向韓千葉的父親許諾，不論是兒子還是女兒，他必奉讓三招。韓千葉的父親回道，招是不須讓的，但如何比試，卻要他子女選定。韓千葉選定的比武方式是，兩人跳入碧水寒潭中一決勝負，如果陽頂天不敢，就必須向自己父親的匕首磕上三個響頭。陽頂天水性不佳，正苦無對策時，明教總壇聖女黛綺絲（也就是後來的金花婆婆），越眾而出，冒充陽頂天的女兒，與韓千葉比試。韓千葉輸給了黛綺絲，兩人也因此結緣。

後來黛綺絲與明教決裂，與韓千葉兩人遠走至靈蛇島隱居。小說中並沒有明確說出靈蛇島的位置，我只能做一下大概推測。小說中已經說明，趙敏派福建海軍，在福建、浙江、廣東一帶的海面搜尋張無忌一行人的下落。靠近那一帶的島嶼，體積又比較大的，臺灣島明顯十分符合。所以，靈蛇島應該就是在臺灣，或者是臺灣附近的大島嶼。