漢後的三國戰亂、五胡亂華，大量漢族百姓和世族南渡，形成中原僑民和南方土著聚居於南嶺山區，也有部分越過南嶺進入廣東，聚居於南嶺山區周邊的漢人形成了後期再南遷西遷的客家人（相對廣府人是客家），早期越過南嶺南下的漢人形成了廣府人。

南北朝，北朝胡人統治，留守的漢民貴族多與胡人通婚，部分中原漢民士族再次南遷南方，同上，由於遷居的地方不同，而形成後來的不同族群。南方，漢族帶著漢族文化有同化南方越人文化，或越人文化有融入。一般沒有胡人漢化的南方客家人（或有少數胡人統治時期官員軍士後代）。

漢族人南下第一批是秦末的趙佗率領的討伐軍，秦掃平六國，便派兵伐南夷，秦軍在桂林郡修了靈渠，打通了水上運軍糧的航道。進軍到嶺南的趙佗此時獲悉秦已滅亡，便自立為南越國王，趙佗取了當地女子為妻，其部下也紛紛取妻成家。第二次為南北朝時期，胡人南侵，漢人南逃，大批中原漢民逃至福建落戶，因是外來住戶，相對於本地土著居民便為”客家“，水澆地為田，坡地為”地“，中原漢民因1為是外來戶，只能住在低產的山坡地，他們住宅也建成圍形堡壘，在福建這種圍屋很多，居民均為客家人。第三次大規模漢民南遷為南宋末年，文天祥被作後，宋、元進行了”崖海大戰“，南宋大臣陸秀夫背小皇帝投海，宋亡。隨朝庭南逃的幾十萬民眾散落嶺南，分佈於廣東潮汕、梅州、清遠、東莞等地，因為水田為本地土著耕耘，外來漢民只有居坡地謀生。深圳有個蔡屋圍，河源有個穎上舊宅都是客家人的傑佐。