383年12月的一天，謝安正與當時的客人在亭中下棋，相比於這位江左風流宰相的鎮定自若，來訪的客人倒是顯得侷促不安。這是因為當時一統北方的前秦苻堅率領號稱百萬的大軍兵臨淮水，眼看就要打到東晉的首都建康了，如果戰局失利，很有可能全中國都淪為北方胡族的統治。在下棋的同事，不斷有前線的戰報傳來，客人惴惴不安的下著棋，隨後一份快馬加鞭送來的戰報送到了案前。謝安看完，表面平靜，繼續下棋，由於客人本就心思不在此處，自然被謝安大勝。隨後客人詢問戰況，謝安不急不慢的答道：“小兒輩遂已破賊。”

這就是當時淝水之戰前南方士族所面對的境況，前秦大軍來襲，整個南方政權風雨飄搖，人心惶惶，當時當時的宰相謝安卻表面鎮定自若，親自導演了當時著名的以少勝多的淝水之戰，一戰定乾坤，瓦解了前秦滅亡當時偏安江左號稱中華正朔的東晉政權的企圖。其中的謝安口中的小兒輩就是當時謝安的侄子謝玄，這位建立了北府兵的東晉名將，並且在淝水之戰中親臨現場，指揮了這場曠世之戰。

謝玄的出身很好，其是當時南渡的陳郡謝氏家族成員，是當時東晉朝廷得以支撐的門閥世家裡的一份子。這也為其得以輕易坐上高位的保障，最初謝玄成年之後多次推辭朝廷的徵召，直到後來桓溫當權，其成為桓溫的下屬，隨後前秦一統北方，多次侵擾東晉的北方邊境，於是當時掌權謝安舉賢不避親的推舉謝玄，就連當時和謝玄不和的中書侍郎郗超都不得不佩服謝玄的才能。謝玄開始獨擋一面，出任建武將軍、兗州刺史，領廣陵相，監江北諸軍事，基本掌握了建康長江以北的軍事大權。

由於當時謝玄出鎮的京口被稱為之北府，有大量因為北方戰亂流落江南的流民在長江以北以及淮水流域一代，因而謝玄大量招募北方流民的中的驍勇之在士，組建了當時東晉最為精銳的一直軍隊，這就是北府兵的由來。並且組建了這支軍隊，可以讓東晉朝廷不再只依靠長江上游荊州方面的桓家軍隊，來防禦北方胡族政權的進攻，還能同時起到制衡的作用。

378年，前秦苻堅率大軍圍困當時的荊州西北方的門戶襄陽，東晉朝廷命令謝玄從淮泗出兵，以聲援襄陽的戰事，不過次年，襄陽還是陷落。前秦進攻東晉的淮水流域的彭城，謝玄率領北府兵從廣陵出發，大破當時的南侵的前秦軍隊，前秦的將領僅以身免。

383年，前秦苻堅率領號稱可以投鞭斷流的百萬大軍從淮水一代進攻東晉，準備一舉滅掉當時中國這個偏安數十年之久的政權，當時的掌權的謝安派遣謝石統兵，謝玄為先鋒共八萬軍隊抵禦來犯之敵，不過軍隊的實際指揮權在謝玄手中。

謝玄當時先命令東晉軍放棄壽陽，將領胡彬退守硤石，示敵以弱，讓當時的前秦軍生出東晉軍不堪一擊的假象。隨後前秦樑成、王顯等率領氐族精銳騎兵五萬屯駐洛澗，沿河佈防，等待前秦大軍會合。謝玄抓住時機，命令當時的北府兵名將劉牢之率領精騎五千，突襲剛剛立足不穩的洛澗，斬殺前秦大將樑成以及前秦軍數萬，俘獲大量的輜重。同時謝玄派遣人告知當時因為襄陽陷落而投降的守將朱序，讓其適當時候重新投歸東晉。

前秦苻堅見勢不妙，於是駐紮壽陽，在淝水沿岸佈陣列兵，謝玄派人給前秦軍送信，說他們遠道而來，卻堵在河岸不過河，不如請你們後退，我們渡河過去和你們決一死戰。而當時的前秦大將苻融以為可以趁機擊其半渡，對己方有利，當時卻沒有看出這是謝玄方使用的計策。

當時的苻堅在命令前秦大軍後退之後，結果由於軍隊數量太多，訊息傳遞不變，特別是後排的士兵以為前面軍隊戰敗後撤，加上當時的朱序在秦軍後排大喊“前秦敗了，前秦敗了”，於是前秦數十萬大軍瞬間土崩瓦解，後撤因為自己人的踩踏死傷的人就不計其數，這時候謝玄率領的北府騎兵乘機渡河發起進攻，戰鬥中苻堅中箭，苻融陣前被殺，前秦軍一潰千里，一路丟盔棄甲，風聲鶴叫，部隊損失十之七八，苻堅灰溜溜的退回北方，不久慕容垂，姚萇等紛紛叛亂，苻堅被殺，一統北方的前秦帝國很快就被後秦所滅。

在淝水之戰之後，前秦帝國已然面臨瓦解的境遇，於是謝玄不失時機的上表朝廷進行北伐，384年，謝玄為前鋒都督，一路直接進攻青兗州之地，北伐軍一路攻克鄄城，廣固，碻磝，滑臺等等，收復了兗、青、司、豫四州之地，並且一路渡過黃河，攻略幽州冀州。就在北伐軍一路勝報頻傳的同時，由於朝廷因為謝玄征戰已久，謝家也會因此權勢過大，成為第二個桓溫，因而東晉政府讓謝玄班師回朝，隨後翟遼叛亂以及各地鎮守的守將叛亂，河北之地被收復之地重新失去。謝玄於是先朝廷上疏，自請解除全部職務。

謝玄回到淮陰之後，由於生病，因而向朝廷請求解除職務，於是朝廷才將其調任到會稽郡任職，388年，謝玄在會稽去世，年僅46歲，諡號“獻武”，一代東晉名將就這樣隕落了。

作為當時的東晉朝廷的中流砥柱，謝玄文武兼備，淝水之戰挽狂瀾於既倒 扶大廈之將傾，成功的將前秦滅亡東晉的企圖一戰破除，並且其北伐收復的失地，讓東晉的版圖得以擴充。北伐之後，他不像以前的桓溫有強烈的權力野心，並及時的向朝廷請求退隱辭職，堪稱國之良將，民之師表。