首先匈奴並沒有被秦朝打殘，秦只是擊退入侵而已，深入漠北作戰是漢武帝時期才有的。

其次秦時匈奴和漢時完全不同，雄才大略的冒頓是前210年登基，剛好和秦二世同一年，以後冒頓就東滅東胡，西驅逐月式，統一漠北，而秦朝(中原)開始走下坡路，此消彼長之下被暫時壓制也是正常的。

最後，漢初並非毫無還手之力，雙方屬於誰也奈何不了誰，算平手而已。白登之戰匈奴圍困了孤軍深入的皇帝直屬部隊，卻無法殲滅，在漢弓弩的反擊下反而死傷慘重，而且漢軍主力正在趕來，匈奴騎虎難下，最後在漢使的交涉下接受一些財物退兵，算是順坡下驢。此戰漢軍順利鎮壓叛亂、擊退敵軍、收復失地，說是勝利也不為過，只不過皇帝被圍，面子上不好看而已。

前半句話不太準確，史書只記載蒙恬率大軍北擊匈奴，並逐出很遠，也就是說把匈奴趕跑了，並沒打殘。

後來，秦末漢初，中原正在內亂，劉邦和項羽忙著爭奪天下。無暇北顧。

匈奴這邊也經歷著內鬥奪位，等一系列的洗牌過程，這中間有個叫冒頓的匈奴大單于，經過征戰逐漸統一了漠北草原，這人有勇有謀，膽識過人，後來脫穎而出，成為草原新的雄主，這人野心勃勃，統一草原後，就把目標轉向了，剛建不久的漢朝。

冒頓單于積極準備，改良武器，訓練騎兵，準備待機南下。而劉邦新建的大漢，百廢待興，經過秦未戰爭，人口銳減，田地荒蕪。史料載，漢初大臣們都是趕牛車上朝，皇帝要出門，連個統一顏色的馬都找不齊。可見當初國家之貧。

而此時冒頓帶領下的匈奴，正是兵強馬壯時，他們開始南下侵撓漢朝邊境，經過幾次試探，他們確定，漢朝兵力不強，不是對手，於是屢次來信汙辱漢朝，派兵大舉南下，劉邦忍受不了，親自帶兵北征匈奴，誰知被圍困於白登。

差點回不來。

自此後，漢朝內部談匈色變，匈奴取得對漢的戰爭優勢，漢朝再也不敢輕易出兵。不得不採取屈辱的“和親政策”。又賠銀子又搭公主。

以換取短暫的和平時間，爭取發展經濟！

這就是漢初，屢被匈奴打的毫無還手之力的，根本原因！