裡耶秦簡就證明了，遠在春秋戰國時期，湘西就在中原王朝管制之下。漢族前身～中原人就已經和原住民混居了。歷代戰亂避禍，太平時期戍邊，官宦之家流放之人等等組成了湘西地區漢族群體

主要是在清朝時期移民過去的。

清朝湖南山區稱為“苗疆”，清政府一開始是限制或者禁止漢人移民到那裡的。但那時商業與農業逐步發展和活躍起來。漢人與少數民族的交往合作越來越密切。

18世紀，湖南西部的人口逐漸涵化為清代常民，這其中漢人就已經存在不少。

1795年苗疆叛亂，清政府鎮壓叛亂後開始以行政管理方式加強整合此地。為避免非漢民族再次結合起來動亂，清政府不在控制漢族移民。

首先，湘西比較寬廣，也可以說有了漢代就有漢人，就存在了漢族。如今的湘西州的漢族多是外來遷住，最早的一批漢人遷入為西漢時期，原於吳楚大軍清君側誅兆錯兵敗，逃遁武陵入住湘西，同時長沙國吳氏被此事拖累，“誅楚誅吳”是朝廷旨意，本指“吳國”，卻牽連長沙吳氏遭殃，武將吳甲工甲勾等護送長沙吳氏文臣婦小逃離長沙，四處分離有往福建，江浙，河南等地，但甲工將軍等人為吸引追兵，最終帶眾將與吳楚部眾聚合入武陵合稱“七姓人”。而這批人就是最初的“漢人”。吳楚大軍中，有山東江蘇人也有湖南湖北人。但是這批“漢人”由於年代久遠，有的成了“土家族”有的早成了“苗族人”，比如鳳凰縣苗山吳氏，世代的口傳“延陵堂”子弟，因滅族亡種的事，兩千年的“無字延陵堂”與封建社會朝廷漢族不兩立，成了彪悍的黑苗的主要原因，也因為本來都是武將出身。他們本來漢人但多數沒有“漢族”這個說法。

漢族，多在唐宋後到明清時期，朝廷勢力擴張，外來漢族不斷的多了起來，多由經商和流官帶來的。最後的大量外來漢人還是清代時期。多是江西人的多，為此也稱呼為“江西老表”。同時湖南人遷貴州雲南四川的也是比較多。

湘西的漢人主要是明清兩代鎮壓苗族起義的隨軍士卒.家屬.難民.逃荒.客商等成分遷移過來的.湘西土著苗族統稱他們外來的各個民族為客家