自香港未被英國割讓殖民地之前乃是小漁港開始，香港的蜑家人已經在香港生活多個世紀，亦是香港水上原居民之一的民系，他們只在船上生活和有自己的語言蜑家話，他們主要是以捕魚維生。

香港原屬廣東省的寶安縣，是客家人的傳統聚居地之一。17世紀末，客家人就開始向香港遷移，香港仍未開埠前客家人是香港原居民最早之一，該地區因而被人叫做「客家村」。在英國殖民香港以前，香港336個村落中（例如薄扶林村），客家人的村落多達128個。2010年時，香港的客家人約有200萬人。但由於現時香港受粵語的強勢影響，至今新一代很多都不會講客家話。

圍頭人在宋朝已開始在寶安縣定居即今天的香港，住在村落裡的多是一個家族單一姓氏並且建造圍村，演至今日稱為圍頭人。

圍頭其實是為了區別客家而產生的一個民系。由於乾隆嘉慶期間，客家居民遷入，多在原居民毗鄰建立新村定居，由於語言、風俗不同而互生磨擦，加以土地分配利益，部分受到原居民的侵迫，遂建造「圍屋」，聚族而居，用以防衛自保。客家與圍頭都各自建造圍村，以作為械鬥之用。相信早期為客家人建造為先，其後圍頭人學習了客家人的組織方式其後同樣建造圍村，其深層歷史原因為土客衝突。