謝玄字幼度，從小聰明且理解能力強，與堂兄謝朗一起為叔父謝安所器重。謝安曾告誡約束自己的子侄們，于是問道：“你們打算怎樣做人行事，而使自己具有美好的名聲呢？”子侄們一時誰也沒有回答上來，這時謝玄答道：“像芝蘭玉樹一樣，且要讓他生在階前庭院中。”謝安聽後非常高興。
謝玄長大後，顯示出了治理國家的才能，朝廷幾次徵召他，他都推辭不受。後來與王珣一起被桓溫召為掾吏，共同被桓溫禮遇、器重。
其時前秦苻堅正當勢力強盛之際，多次侵擾晉國邊境。于是朝廷下令徵召能夠抵禦北方的文武兼備的良將。謝安便推薦了謝玄。中書郎郗超雖然歷來與謝玄不和，但聽到這一舉薦也不得不歎息說：“謝安敢於冒觸犯眾怒的危險舉荐親侄子，確實是英明的；謝玄一定不辜負他叔叔的推薦，因為他確實是難得的人才。”當時許多人都不贊同郗超的看法，郗超說：“我曾經與謝玄共同在桓將軍幕府做事，親眼見他用人能各盡其才，即使是一些細小事務，安排人也非常恰當。所以知道他一定能成功。”于是朝廷如謝玄回朝。
當時苻堅派軍圍困襄陽，車騎將軍桓衝抗擊他。朝廷下詔命令謝玄徵發三個州的民夫兵丁，並派彭城內史何謙率軍隊在淮水、泗水一帶游弋，讓他們形成援助襄陽的態勢。
襄陽陷落後，苻堅的部將彭超向彭城的龍驤將軍戴逯發動進攻。謝玄率領後軍將軍何謙駐紮在泗口，想要偷偷地派遣使者告訴戴逯，讓他知道救兵到了，卻找不到前往的途徑。小將田泓請命前往，于是他就潛在水中偷偷地過去，快要到城下時，不幸被敵軍抓獲。敵軍用豐厚的賞賜收買田泓，讓他對彭城守軍說“南來的援軍已被打垮了”。田泓假裝答應。但到了城下時，卻大聲告訴城中說：“南來的援軍很快就要到了，我一個人前來報信，被敵人抓住，你們一定要努力堅守啊。”于是被害。
等到苻堅親自率軍駐紮到項城，號稱雄兵百萬。晉孝武帝上詔命令謝玄為先鋒，統領徐州、兗州、青州以及揚州之晉陵、幽州之燕國各支軍隊，和他的叔父徵虜將軍謝石等抗擊，軍數八萬人。
謝玄選派遣廣陵相劉牢之率五千人奔襲洛澗，首戰告捷，很快就殺了梁成和其弟梁雲，敵人的步兵騎兵同時崩潰，爭著渡過淮水逃跑。劉牢之派兵追擊，活捉敵將梁他、王顯、梁悌、慕容屈氏等，獲取其軍用物資。苻堅進軍駐紮在壽陽，在淝水沿岸布陣列兵，謝玄的軍隊不能過河。謝玄派人對秦將苻融說：“你們那麼遠到我們的疆土，卻在淝水邊上列陣，這是不想速戰速決。請你們稍微退後一點，也好讓我們的部隊渡過河去同你們拼一拼。我和你們從容觀看，不也是一件快樂的事情嗎？”苻堅的部下都說：“咱們應該憑借淝水把他們堵在河對岸，不能讓他們上岸。我們人多，產人少，情勢一定會有利於我們的。”苻堅卻說：“只管讓軍隊退後，讓他們過河，等到他們過來了，我們再用鐵騎數十萬把他們全部趕進河裡去，徹底消滅他們。”苻融也認為應該這樣，於是就指揮秦軍向後退卻，誰知後退的命令一發出，那麼多人一下子就亂了陣腳，再也控制不住了。
在這種情況下，謝玄與謝琰、桓伊等人帶領八千精兵渡過淝水。苻堅的軍隊潰敗奔逃，自相踐踏，投水而死的不計其數，淝水因而都堵塞得不流通了。其餘人馬拋棄鎧甲連夜逃走，聽到風聲鶴叫，都以為是東晉軍隊已經來到，草行露宿，再加上挨餓受凍，死去的有十分之七八。晉帝下詔派殿中將軍慰勞謝玄軍隊。給謝玄加授前將軍、假節的稱號，堅決推辭不接受。朝廷賜給上百萬錢，上千匹彩綢。
謝玄字幼度，從小聰明且理解能力強，與堂兄謝朗一起為叔父謝安所器重。謝安曾告誡約束自己的子侄們，于是問道：“你們打算怎樣做人行事，而使自己具有美好的名聲呢？”子侄們一時誰也沒有回答上來，這時謝玄答道：“像芝蘭玉樹一樣，且要讓他生在階前庭院中。”謝安聽後非常高興。
謝玄長大後，顯示出了治理國家的才能，朝廷幾次徵召他，他都推辭不受。後來與王珣一起被桓溫召為掾吏，共同被桓溫禮遇、器重。
其時前秦苻堅正當勢力強盛之際，多次侵擾晉國邊境。于是朝廷下令徵召能夠抵禦北方的文武兼備的良將。謝安便推薦了謝玄。中書郎郗超雖然歷來與謝玄不和，但聽到這一舉薦也不得不歎息說：“謝安敢於冒觸犯眾怒的危險舉荐親侄子，確實是英明的；謝玄一定不辜負他叔叔的推薦，因為他確實是難得的人才。”當時許多人都不贊同郗超的看法，郗超說：“我曾經與謝玄共同在桓將軍幕府做事，親眼見他用人能各盡其才，即使是一些細小事務，安排人也非常恰當。所以知道他一定能成功。”于是朝廷如謝玄回朝。
當時苻堅派軍圍困襄陽，車騎將軍桓衝抗擊他。朝廷下詔命令謝玄徵發三個州的民夫兵丁，並派彭城內史何謙率軍隊在淮水、泗水一帶游弋，讓他們形成援助襄陽的態勢。
襄陽陷落後，苻堅的部將彭超向彭城的龍驤將軍戴逯發動進攻。謝玄率領後軍將軍何謙駐紮在泗口，想要偷偷地派遣使者告訴戴逯，讓他知道救兵到了，卻找不到前往的途徑。小將田泓請命前往，于是他就潛在水中偷偷地過去，快要到城下時，不幸被敵軍抓獲。敵軍用豐厚的賞賜收買田泓，讓他對彭城守軍說“南來的援軍已被打垮了”。田泓假裝答應。但到了城下時，卻大聲告訴城中說：“南來的援軍很快就要到了，我一個人前來報信，被敵人抓住，你們一定要努力堅守啊。”于是被害。
等到苻堅親自率軍駐紮到項城，號稱雄兵百萬。晉孝武帝上詔命令謝玄為先鋒，統領徐州、兗州、青州以及揚州之晉陵、幽州之燕國各支軍隊，和他的叔父徵虜將軍謝石等抗擊，軍數八萬人。
謝玄選派遣廣陵相劉牢之率五千人奔襲洛澗，首戰告捷，很快就殺了梁成和其弟梁雲，敵人的步兵騎兵同時崩潰，爭著渡過淮水逃跑。劉牢之派兵追擊，活捉敵將梁他、王顯、梁悌、慕容屈氏等，獲取其軍用物資。苻堅進軍駐紮在壽陽，在淝水沿岸布陣列兵，謝玄的軍隊不能過河。謝玄派人對秦將苻融說：“你們那麼遠到我們的疆土，卻在淝水邊上列陣，這是不想速戰速決。請你們稍微退後一點，也好讓我們的部隊渡過河去同你們拼一拼。我和你們從容觀看，不也是一件快樂的事情嗎？”苻堅的部下都說：“咱們應該憑借淝水把他們堵在河對岸，不能讓他們上岸。我們人多，產人少，情勢一定會有利於我們的。”苻堅卻說：“只管讓軍隊退後，讓他們過河，等到他們過來了，我們再用鐵騎數十萬把他們全部趕進河裡去，徹底消滅他們。”苻融也認為應該這樣，於是就指揮秦軍向後退卻，誰知後退的命令一發出，那麼多人一下子就亂了陣腳，再也控制不住了。
在這種情況下，謝玄與謝琰、桓伊等人帶領八千精兵渡過淝水。苻堅的軍隊潰敗奔逃，自相踐踏，投水而死的不計其數，淝水因而都堵塞得不流通了。其餘人馬拋棄鎧甲連夜逃走，聽到風聲鶴叫，都以為是東晉軍隊已經來到，草行露宿，再加上挨餓受凍，死去的有十分之七八。晉帝下詔派殿中將軍慰勞謝玄軍隊。給謝玄加授前將軍、假節的稱號，堅決推辭不接受。朝廷賜給上百萬錢，上千匹彩綢。