北府兵曾經是東晉王朝的軍事支柱，北府兵的產生與東晉王朝的民族矛盾和統治階級內部矛盾都有很大關係。東晉初年，在晉朝的政局當中就形成了所謂的荊、揚內鬥局面，東晉初年的王敦叛亂結束後，荊州刺史桓溫控制了荊州的軍事，並與處於長江下游的東晉中央王朝形成對峙之勢。

桓溫死後，謝安出任東晉宰相，為了與長江中上游的桓氏家族形成制衡，謝安開始在廣陵（今天的揚州地區）和京口一帶（今天的鎮江及其周邊地區）招募北方僑民，形成了北府兵，而北方僑民在南下後，為了取得生存，一般民風都比較彪悍，所以北府兵的戰鬥力非常強。在我們所熟知的淝水之戰中，打敗北方前秦軍隊的就是北府兵。

北府兵是東晉中後期的支柱性軍事力量。東晉滅亡後，出身於北府兵系統的將領劉裕建立了宋朝。北府兵依然是劉宋的主力部隊，不過到了劉宋初年，北府兵的實力和東晉時期相比已經大大下降。首先原因是北府兵的兵源來自於北方僑民，當北方處於安定的時候，南下的僑民自然就會減少，而且從東晉到劉宋，南方的僑民要麼已經土著化，要麼則是人數急劇減少，所以北府兵存在的基礎逐漸減弱，因而到了劉宋時期，北府兵走向了全面衰落。

北府兵最終走向滅亡還與北府兵名將檀道濟的死有很大關係。劉宋初年，北府兵雖然已經衰落，但是依然能夠維持的一個主要原因就在於北府兵還有一個名將檀道濟，不過元嘉十三年，檀道濟為彭城王劉義康所殺，北府兵的支柱瓦解。此後，在劉宋及其他南朝政權中發揮主要作用的就不是北府兵了，而是從江南地區普遍徵發的江南白丁了。

東晉時，前秦苻堅一統北方，晉朝感受北方壓力，恐苻堅大軍壓境無人能敵，於是在東晉孝武帝太元二年以謝玄為建武將軍、兗州刺史、領廣陵相、監江北諸軍事，鎮廣陵，以防前秦。謝玄到任後選拔驍勇之人募兵，成立一支軍隊，佐以參將劉牢之，訓練新軍，初始以謝氏家族全力支撐募兵所需，在太元四年，謝玄改鎮京口，因為當時京口又名北府，故而其軍得名北府軍，又稱北府兵。

太元八年，歷經六年的訓練，北府軍可堪一戰，在著名的淝水之戰中，一舉擊敗前秦數十萬大軍，名氣大陣，青史留名。

太元十二年，謝玄解除兵權，卸任北府軍領導。司馬恬、王恭先後代之，北府軍成為東晉軍閥勢力，在王恭率北府軍起兵反晉後，第二年劉牢之殺了王恭，代之為北府軍領袖。此後北府軍主要致力於鎮壓孫恩、盧循的天師道起義軍。之後，劉牢之帶領北府軍投降於桓玄，桓玄稱帝后，劉牢之眾叛親離下自殺，原參軍劉裕率領北府兵餘部起兵，此時北府兵已然不成建制，劉裕在殘軍的基礎上重組北府兵，並依據此軍建立宋國，此時北府兵成為宋國軍隊，不再是北府兵，北府兵從此退出歷史舞臺。

要說北府兵是何時退出歷史舞臺的，首先我們應該要知道它是怎麼建立的，這樣方便我們更好的去了解，諸位看官且待我慢慢說來。

北府兵又名北府軍，東晉孝武帝初年謝玄組建訓練的軍隊。其實最初北府勢力的建立者是郗鑑，為了安置北方的流民，從中挑選精壯的人訓練組軍，成了北府軍的雛形。太元二年（377年），謝玄拜建武將軍、兗州刺史領廣陵相、監江北諸軍事，他任用北府宿將劉牢之，並招募北府諸將，這是北府軍正式定名的開始。《晉書.第五十六章》有如下描述：北府兵自建立以後就成為了東晉重要的一支軍事力量，在保衛東晉過程中屢立戰功。在歷史上有名的淝水之戰中，北府軍在謝玄，劉牢之的率領下發揮了主力軍的作用。前秦苻堅帶領號稱八十萬軍隊準備攻滅東晉，北府軍在謝玄等將領的親率下不僅擊潰了前秦軍隊，保衛了東晉國土，更給歷史創造了一個以少勝多的經典案例。謝氏諸人在淝水之戰後相繼死亡，北府勢力不斷零落，分散加入了皇帝和丞相司馬道子的陣營，成為了東晉內部火併的工具。而劉牢之掌握的北府軍最終投降桓玄，在桓玄的屠戮下，北府將領均死傷殆盡，北府軍自此被瓦解。後劉裕在京口重組北府兵，但此時的北府軍已跟謝氏時期的北府軍有很大區別，也不是傳承聯絡。北府軍多是以將軍統領私兵為主，到劉裕時，北府舊將多敗死，所以劉裕是用了北府的兵而沒有北府將。而後劉裕在北府軍的支援下擊滅桓玄，最終取東晉而代之。劉宋王朝建立不久，劉裕就駕鶴西去，北府軍也迅速凋零。究其原因，其一，北府軍自組建以來就是以私兵的方式存在，只認將不認朝廷，如果沒有強有力的領導人，很容易土崩瓦解。其二，北府軍經過多次戰爭，將領和兵員面臨枯竭。其三，在晉朝九品中正嚴格的選人條件下，劉裕並非士家大族，統治基礎並不穩定，在他駕崩後，北府軍自然也隨之而去。