此前，在東漢王朝持續的軍事打擊下，漠北匈奴單于政權發生分裂，北匈奴遠遁中亞，而南匈奴大部則歸附於東漢王朝，朝廷出於怕其再相互勾結、分而治之的策略指導下，下令南匈奴各部離開漠南，將其安置於河套地區，並給予物質上的供給優待。在這樣背景下，到東漢晚期，經過充分休養生息後的南匈奴部眾在河套地區的人數大大增加，已經成為那裡的“優勢民族”，他們雖然在名義上接受東漢地方官吏的管轄，但隨著自身實力增長，加上東漢王朝在政治上日趨紛亂時期，南匈奴各部屢屢出現拒絕接受朝廷調遣，甚至公然舉兵反叛的事件。到了黃巾起義及其後的軍閥混戰時期，南匈奴各部貴族更是趁火打劫，以河套為根據地，東出、南下大肆劫掠，直到曹操統一北方大部後，以優勢兵力震懾住南匈奴，並趁其首領呼廚泉到鄴城朝覲之機，將其扣留軟禁，並進而分南匈奴為五部，各以酋帥統御，勢力遭到分割、削弱的匈奴人，在其後魏國政權存續期間，一直沒有異動，但河套地區也始終屬於南匈奴所有。

到了西晉王朝八萬之亂爆發後，朝廷派駐河套周邊的軍隊被抽調一空，進而成都王司馬穎為了對抗幽州王浚和段部鮮卑、烏桓聯軍的威脅，不但釋放了作為人質的南匈奴屠各部首領劉淵，並讓他回到五部匈奴中，召集軍隊前來助戰。劉淵北歸後集合了以屠各部為主力的南匈奴大部分部眾，進入幷州（今天的山西省），積極南下攻伐，建立了漢趙政權。而留在河套的匈奴人實力大減，只有劉虎統領的鐵弗部等存在，他們無法抵抗鮮卑拓跋部等的入侵，整個河套地區的大部分很快成了拓跋鮮卑建立的代國的一部分了。