編練新式陸海軍和籌建海防是洋務運動的又一項重要內容。
從1861年起，洋務運動全力開始建設陸海軍和海防，究竟是什麼實力？洋務派在購買西式槍炮的同時，開始聘請英、法教官，採用西式陣法操練軍隊。1862年年初，奕訴等人在天津設立洋槍隊，證聘外籍軍官，在天津、大沽採用西法訓練京營八旗等兵勇一千餘名。隨後，廣東、福建、江蘇、湖北、貴州、雲南等省也按照天津練兵章程，訓練洋槍隊和炮兵。1864年，奕誤等人在北京建立威遠隊，演練槍炮及西式陣法。1866年，奕訴等人又在直隸選練六軍，共計一萬五千人，稱為“練軍”。
練軍
從1862年起，李鴻章利用上海的便利條件和充足餉源，以西式槍炮裝備淮軍，並僱用洋人教習，傳授西洋槍炮和陣法。1865年年底，淮軍由六千人擴充至五萬餘人，“盡棄中國習用之抬槍、鳥槍，而變為洋槍隊”，並設炮隊四營。淮軍成為當時裝備較為精良、戰鬥力較強的一支軍隊。與此同時，左宗棠所部湘軍也開始裝備洋槍，並在1863年建立洋槍隊。1867年進軍西北後，左宗棠派人駐上海採購外國槍炮，又先後在西安、蘭州設局製造軍火，使該部湘軍裝備西式槍炮的比例大幅增加，成為新式陸軍的一支重要力量。19世紀80年代以後，以淮軍為主力的新式陸軍已遍佈南洋、北洋數省和西北地區，逐漸取代了八旗、綠營等舊式軍隊，駐防各地，稱為“防軍”。
淮軍
在編練新式陸軍的同時，洋務派開始著手籌建新式海軍。1861年7月，奕訴、文祥等人奏請購置西洋船炮，建立新式水師。根據廣東海關副稅務司赫德的建議，清政府委託正在英國休假養傷的總稅務司李泰國(Lay Horatio Nelson)向英國訂購兵艦。次年，英國海軍上校阿思本(S.Osborn)率艦抵華，要求完全掌握艦隊的指揮權。清政府嚴詞拒絕，決定將艦隊解散，革去李泰國的總稅務司職務。阿思本事件使清政府蒙受重大經濟損失，空耗白銀約九十萬兩。洋務派購買船炮以建立近代化海軍的初次嘗試失敗後，開始關注自造船艦和整頓水師的海防活動。這一時期，清政府著力設廠造船，籌設海防和編練海軍還無力付諸實踐。
1874年，日本派兵侵略中國臺灣和東南沿海。這在朝廷內外引起極大震動，海防之議由此興起。為防禦日本等國再次入侵，許多官員要求購買西方鐵甲戰艦、水雷等先進武器，建立海軍，加強海防。經過半年多的討論，清政府於1875年5月任命沈葆禎、李鴻章分別督辦南、北兩洋事務，籌備海防，建立近代海軍。同時每年由粵、閩等海關及江、浙等六省厘金項下撥解四百萬兩海防經費，計劃在十年內建成南洋、北洋和粵洋三支海軍。但因各省撥款多不足額，海防經費短缺甚多，清政府決定優先發展北洋水師，籌建事務主要由李鴻章負責。1879年，李鴻章在天津設立水師營務處，主管海軍日常事務，並調派淮軍提督丁汝昌主持北洋海軍。
1881年，又奏準任命丁汝昌統領北洋水師。
1884年，福建、南洋、北洋水師初具規模。福建水師受閩浙總督節制，擁有十一艘艦船，絕大部分由閩局製造，負責防衛福建、廣東海域；南洋水師受兩江總督兼南洋海防大臣管轄，擁有十八艘艦船，大多為閩、滬二局製造，也有少數購自德國，負責防衛江蘇、浙江海域。北洋水師受直隸總督兼北洋海防大臣管轄，擁有十四艘艦船，大多從英國、德國購進，負責防衛山東、直隸、泰天海。其中以北洋水師實力最強，福建水師實力最弱。總體而言，三支艦隊在兵船質量、噸位、行速上，與西方國家存在較大差距。加之北洋水師由李鴻章把持，南洋水師受湘系大員控制，各派系間互不統屬，畛域分明，使三洋水師整體實力大打折扣。
馬江佈陣圖
在1884年的中法馬江海戰中，福建水師在毫無準備的情況下遭受法軍襲擊，幾乎全軍覆沒。戰後雖然有所增補，但難以成軍。
中法戰爭後，海防之議再起，清政府決心“懲前毖後，自以大治水師為主”23。1885年，批准成立總理海軍事務衙門，總管海軍和海防事宜。又任命奕嬛為海軍衙門總理大臣，奕勵、李鴻章為會辦，具體事務實際由李鴻章主持。至此，海軍正式成為國家軍種之一，北洋海軍也進入一個新的發展時期。李鴻章從英、德等國先後購買鐵甲船、新式快船及魚雷艇十四艘，修建旅順、威海衛兩大軍港，營造船塢，修築沿海炮臺，並聘請外國教習訓練水師官兵。
1888年，北洋海軍擁有艦船二十五艘，總排水量三萬九千噸，在遠東首屈一指，艦隊駐泊、訓練、編制和後勤保障也已成制。同年12月17日，清政府正式批准《北洋海軍章程》，陣容龐大的北洋艦隊組建成軍，近代海軍已成規模。但是，新式海軍的建立並沒有為清政府的海防事業帶來轉機。
北洋海軍致遠艦
自1888年起，為慶賀慈禧太后六十壽辰，海軍衙門將每年四百萬兩的海軍軍費大部分挪用，用以修繕頤和園，致使海軍建設停滯不前，北洋、南洋等地無力添置艦船和更新設施，裝備日趨落後。與此同時，北洋海軍內部矛盾重重，戰事訓練和管理十分鬆懈，追逐私利、貪圖安逸的腐敗風氣也日益加重。北洋海軍將領以閩籍居多，因地域關係，他們往往自成一派，排擠非閩系官兵，致使內部號令不行，指揮不一。在日常操練中，大部分將領虛與敷衍，“無事之秋，多尚虛文，未嘗講求戰事”。散漫、輕浮作風越演越烈，將士離船嬉戲，“晚間住岸者，一船有半”。這嚴重影響了艦隊的戰鬥力，最終導致北洋海軍在中日甲午海戰中慘敗。