巴瑤族的活動區域在國家之間的邊境海域，他們不屬於哪個國家，也就沒有屬於那個國籍一說，所以合法的身份登岸。另一方面因為一直在海上漂泊的巴瑤族人習慣了海里的生活環境，在陸地上會產生不舒服的身體反應。還有就是和傳說有關，可能他們的祖先有交代不允許登岸。綜合這些原因巴瑤族人只能生活在海上。

關於巴瑤族的傳說有很多的版本。

版本一：沙巴薩瑪傳說講述，巴瑤族起源於柔佛州蘇丹的皇家衛隊，馬六甲王國被一次風暴肆虐後，他們在東海岸的婆羅洲定居下來。

版本二：他們護送蘇丹的新娘，路上被汶萊蘇丹將新娘綁架，因無法完成任務，就在海邊住了下來。

不管是什麼原因，事實就是他們在300年前就開始生活在菲律賓、馬來西亞和印度尼西亞之間海域。多數人潛海捕魚為生，常被稱為海上吉普賽人，被認為是最後一支海洋遊牧民族。

巴瑤人數百年來，世世代代生活東南亞海域，甚少踏足土地。

巴瑤人住在高高架在海上的木屋內。每天清晨，巴瑤的男人們就早早起床出海捕魚，孩子們就在屋子周圍的海域戲耍玩鬧。

每有遊船到訪，就會有成群的巴瑤孩童婦女，划著小船來乞討食物。他們那種飢餓的眼神就像非洲難民。

巴瑤族人是自由潛泳的高手，能潛到30米甚至更深的海域捕深海魚，尋找珍珠以及海參。

巴瑤人彷彿是被世間遺棄的族群，又好像是被特殊地保護在這片伊甸園裡。據說這片海域幾百年從未遭遇颱風海嘯。