北府兵最早可以追根溯源到晉元帝晉明帝時屯居於京口的郗鑑，最早是由郗鑑開始接納北方南來的流民及流民帥。

至於其被稱為北府的原因是由於軍府所在地京口相對於首都建康來說位於北部，故號北府，最早可以發現王舒鎮京口被封為北中郎將。與此類似，東晉的西府無論是荊州還是歷陽都位於建康的西部，故號為西府。

前面也說了，京口或者西府吸納的大多為北方南來的流民，有平頭百姓，但是北方流寓的鄉土勢力與塢堡勢力成分也不少。到了東晉末年襄陽的楊佺期與京口的劉牢之都是當時政治鬥爭中心人物努力爭取的武裝力量。

而令北府兵真正揚名的自然是淝水之戰，當時謝玄招募北府兵，他是招募將領而不是招募士兵，這些將領率領的大多數都是在淮河流域以及以北與北方前秦等其他政權遊擊作戰的流民部隊，這些將領也就是流民帥，他們帶著自己的部曲入伍得到編制，參與南北戰爭，故其戰鬥力自然強悍。

組建於東晉初年的北府軍，實際上是以北方流民為主力的一支軍隊。因為其所在地京口而得名，京口在當時是歷任徵北、鎮北、北中郎將府所在地，所以被稱為北府，駐紮在京口的這支軍隊，也理所當然被稱為北府軍。

中國歷史上，幾乎歷朝歷代，都會有一支名揚天下的勁旅，在西晉分崩離析，北方少數民族強大壓力之下，只有半壁江山的東晉似乎只是苟延殘喘，卻為何還能堅持100多年之久且未亡於異族之手，關鍵就在於這支北府軍。

從東晉的歷史看，從北府軍組建到東晉滅亡，北府軍的歷史長達百餘年，而若將目光往下延伸，直到劉宋立國，二度北伐，都是北府軍戰力的延續，可以說北府軍開啟了南朝二百七十多年的歷史，如果沒有北府軍，可能南北朝也就不復存在。

如果以北府軍的性質地位來打個比方，那可能就如同著名成語“聞雞起舞”中的主角——祖逖，祖逖一心北伐，但南渡的東晉政府衰弱至極，甚至沒有自己可以指揮的中央軍隊，晉元帝雖認可祖逖的想法，奈何有心無力，只能口頭上同意而無法給出任何實質上的幫助。但祖逖豈是凡夫俗子，硬生生自己組建出了一支數萬人的軍隊進行北伐，還打下了黃河以南的廣大土地。

北府軍，就大致相當於這個地位，它組建時是由地方門閥招募及控制的私兵，名義上聽從中央指揮，實際上指揮權完全在門閥首腦手中。

北府軍成立之初，未必見得有多麼強大，它在東晉初期由忠於朝廷的兗州刺史郗鑑以北方流民為班底建立，在王敦兩次叛亂和流民軍統帥蘇峻的叛亂中，北府軍都作壁上觀，未敢輕動，也正是得益於此，在幾次戰爭中其他門閥軍隊損失慘重，北府軍反而乘勢坐大，成為了一支有實力主導東晉格局的力量。北府軍的統帥也從開創初期的郗鑑主導的郗氏家族及部將傳承過渡到了權臣恆溫手中，這一階段，始終終於中央政府，從未參與叛亂的北府軍逐步成長為東晉健康政府可以依靠的一支力量。

到了恆溫隕落，謝氏崛起，被桓溫掌控的舊北府軍已在他第三次北伐中被打得支離破碎，難以獨立成軍，與此同時，前秦苻堅聲勢日隆，逐漸對東晉形成泰山壓頂之勢，謝安掌權後，建立一支政府可以直接掌控的軍隊以對抗前秦大軍迫在眉睫，否則衣冠南渡的漢人政府難逃亡國滅種的命運。這種情況下，借鑑郗鑑當年的經驗，重新整編招募以北方流民為主體的軍隊無疑是最省錢省力的舉措，於是，新北府軍應運而生。

區別於舊北府軍的是，新北府軍不再受控於門閥貴族，而是由中央政府直接掌控的軍隊，這也使得它在重建之初就得到政策的大力支援，在衣甲軍器上都強於舊北府軍。同時配備了精兵猛將，著名的將領劉牢之，何謙、諸葛侃、高衡、劉軌、孫無終等後來名重一時的猛將皆在北府軍中效力。有了精兵、猛將，北府軍戰力得到進一步提升，從南方軍閥部隊中的佼佼者躍升為可以與北方軍隊一較高下的力量。

說到北府軍的裝備，在得到中央政府支援後，北府軍裝備得到了飛躍，除了三國兩晉時期戰場主要裝備步騎五兵即刀、槍、劍、弓矢、盾牌外，還裝備了萬鈞神弩和車弩等大型弩機，這些弩相當於小型火炮，安裝在固定支架或戰車之上，力道可以達到1500斤之多，當然光憑人力是無法拉動的，需要多人靠絞機才能張弦，弩矢長度有一米多，最大射程達到了1000米，威力當然也是相當驚人，木質的大型樓船都能被一弩射穿。

在甲冑方面，三國時期的黑光鎧、兩當鎧仍是主流，明光鎧已經出現，漢人鎧甲正在過渡至其巔峰階段，除了將士，戰馬同樣裝備馬鎧，重灌戰馬加上身披明光鎧的重甲騎士，這就是名震天下的甲騎具裝，也就有了對抗北方少數民族重甲騎兵的資本，這些在東晉時期墓葬的壁畫中都有體現。除此以外，北府軍還擁有強大的水軍，西晉滅吳時，樓船已經出現，到了東晉，發展得更加巨大，大型樓船能運載兩千多士兵，堪稱當時的航母，藉助水路，其投放和輸送能力遠遠強於陸路。

世人所知北府軍，大多是來自對於淝水之戰的記憶，在這場決定漢人政權存亡的決定性戰役中，數萬北府軍對陣數十萬秦軍，在人數比超過一比十的情況下，未等全部渡河即發動進攻，一舉沖垮秦軍大陣，殺得苻堅草木皆兵，數十萬大軍土崩瓦解，其不可謂不兇悍。

不過實際上，在淝水大戰之前，前秦已向東晉發起了一系列進攻，在這些戰役中，北府軍早已揚名天下。

公元379年，謝玄率五萬北府軍在揚州-盱眙一帶連續擊敗南下的秦將彭超手下十萬大軍，前秦將領都顏、邵保被陣斬，彭超、俱難僅以身免。

公元382年，北府軍將領劉牢之率五千精兵襲取洛澗，殲滅秦軍一萬五千，斬殺前秦大將梁成。

經過這系列戰役，消滅了前秦渡過淝水的突出部，這才形成了兩軍相隔淝水對峙的局面，才有了之後的淝水大捷這樣的戰績。

苻堅失敗後，謝玄指揮北府軍乘勢北伐，收復了大片失地，巴蜀、襄樊、淮北、兗州、青州等都被克復，特別是北府軍的先鋒猛將劉牢之，像一把鋒利的匕首深深插進了前秦腹地，打得前秦無力招架。可惜劉牢之孤軍深入，遇到了另一位名將—此時已反叛前秦的慕容垂，劉牢之未能穩守，犯了輕敵冒進的錯誤，被慕容垂擊敗，劉牢之僅以身免，至此，東晉的北伐宣告失利。

其後的北府軍，在門閥士族爭奪權力的鬥爭中成為了工具，主將劉牢之站隊錯誤被桓玄逼迫自殺，隨後北府軍將領劉裕、劉毅﹑何無忌等又起兵討滅桓玄，北府軍的首領成為了劉裕，也就是以後的劉宋武帝。

北府軍在劉裕手裡，又成為了一支氣吞萬里的虎狼之師，劉裕掃平東晉內部爭鬥後，於東晉義熙五年出兵北伐，北府軍成為當仁不讓的主力，在臨駒城下擊敗慕容超的南燕大軍，又攻破南燕都城廣固，擒斬南燕皇帝慕容超，平定南燕，這是一次滅國級別的勝利。

義熙十二年（公元416年），劉裕伐後秦，北府軍名將王鎮惡、檀道濟勢如破竹，直逼後秦都城長安，後秦末帝姚泓無奈出降，被押送至健康斬首，北府軍第二次成功滅國。

可以說，在劉裕手下，北府軍達到了第二個輝煌的巔峰，再一次威震天下，“想當年，金戈鐵馬，氣吞萬里如虎。”辛棄疾的名篇可以為證。到了永初三年（公元422年），一代強人劉裕又把目光投向了自己的手下敗將北魏，計劃再次北伐，可惜壯志未酬，在同年就病逝。

到了劉裕代晉立宋後，其賴以成事的北府軍自然也就升格成了中央軍，此後南北形勢漸趨穩定，作為北府軍基礎的北方流民減少，兵員逐漸枯竭，同時北府軍名將王鎮惡、檀道濟等先後凋零，到了劉宋文帝以後，北府軍逐漸不復存在，自然消亡。但它給世人留下的，是一段段不朽的傳奇，在五代十六國的亂世中，如果沒有這樣一支軍隊支撐著南方的漢人王朝，其後果恐怕是難以想象的。

北府兵是魏晉南北朝時代有名的強軍。辛棄疾曾有句詞寫到“想當年，金戈鐵馬，氣吞萬里如虎。”這就是描寫劉裕的詞，可是在某種程度也是劉裕手下北府兵的威名所在。

北府兵的由來是防備北方的氐人。當時北方的少數民族氐人，在苻堅和王猛的帶領下，逐漸統一了當時混戰的北方。王猛去世後，苻堅欲一統天下，對偏居一偶的東晉虎視眈眈，不斷派兵襲擾東晉。迫於軍事壓力，東晉的宰相謝安推薦侄子謝玄為建武將軍、兗州刺史、領廣陵相、監江北諸軍事，組建新軍。當時在京口到廣陵一代有大量的北方的逃亡的流民，這些流民大多在八王之亂和五胡之亂殘存下來，他們能夠逃亡到江北，所以大多健壯，而且對北方的異族有著血仇。謝玄看中了這些人，挑選他們中間的健壯男兒組織成軍。太元四年（379年），謝玄改鎮京口，因為當時京口又名北府，故而其軍得名北府兵。這些南逃的農民，寒門子弟拿起了武器，最終掀翻當時的天下局勢。

太元八年，苻堅聚集北方軍隊八十多萬，號稱百萬，發動了對東晉的全面進攻。當時謝玄僅僅只有八萬北府兵將士，便擔當了東晉的主力部隊。當時，在洛澗，劉牢之率領五千北府兵便擊垮五萬前秦軍，擊殺主將。此後淮河渡口，殲滅前秦軍隊一萬五千人，抓獲了前秦揚州刺史王顯等人。在淝水之戰，擊垮前秦主力，苻堅狼狽出逃，前秦此後滅亡。這一場戰爭後，北府兵便成為東晉的主力部隊。

隆安三年，孫恩，盧循率領天師道起義，東南八郡一時並起，起義軍發展到幾十萬人，京師震動，朝廷就是依靠北府兵才將起義鎮壓了下去。

元興元年（402年），桓玄帥軍攻破建康，大肆殺戮北府將領。元興三年（404年）二月，劉裕以打獵為名，聚集北府兵殘餘兵將一千七百餘人，在京口舉兵起義，劉裕在此重新組織北府兵，從此北府兵變成一個新王朝的軍隊。此後劉裕全面進攻桓玄，桓玄在北府兵面前不堪一擊，轉瞬敗亡。

義熙五年（409年），劉裕起兵北伐南燕，而主要作戰的基本是北府兵，義熙六年（410年）二月，南燕滅亡，南燕主慕容超被押送回師，在建康街頭斬首。

義熙九年（413年），劉裕領兵，北府軍攻滅譙蜀。

義熙十三年（417年）正月，劉裕再次領兵北上，在黃河一代擊敗北魏軍隊，奪得黃河以南，同時進攻後秦，義熙十三年（417年）的冬天，劉裕率軍浩浩蕩蕩地抵達長安，姚泓舉國投降。至此北府軍達到了他的全盛時期，而在此之後劉裕登基稱帝。

北府軍是由一群寒門將領和南逃流民組成的軍隊，在當時北方異族作亂時，發出自己的聲音。他們在建立後的幾十年裡，用他們的鐵和血，擊垮了士族，擊垮了北方異族，譜寫了一個時代的樂曲。