你說的西南是指四川西部、南部自治州縣和西藏一帶吧。如果說四川東部、北部平原一帶，和中原接觸的歷史可比東南一帶早多了。

秦漢時期秦國兼併了蜀國，設立了蜀郡。

劉邦被封為漢王，“王巴蜀、漢中，都南鄭。”他以此為發祥地。

東漢末年黃巾起義後，皇親宗室益州牧劉焉、劉璋父子割據四川，後為劉備所滅。221年，劉備稱帝，國號"漢"，史稱"蜀漢"。

元末紅巾軍起義後，1361年，明玉珍及其子明昇在四川建立“大夏”政權，建都重慶，1372年為明朝所滅。

明末，農民軍領袖張獻忠在四川建立過“大西”農民革命政權（1644年－1646年），建都成都。

另外四川的方言屬於北方官話的次方言，可比東南一帶十里不同音、五里不同調的百越話易懂多了。

西南夷其實是有漢人的。西南夷的豪族有十幾個大姓。其中跟漢人有關的至少有爨氏，李氏，雍氏。

爨氏是漢人班氏的一支後裔，曾在西南建立割據政權四百年。李氏和爨氏是姻親，出過的名人有三國時的李恢。雍氏是什邡侯雍齒的後代。

古代的民族通婚也是很常見的。