1874年，日本侵略臺灣，震動清廷，籌辦海防之議由是而起。總理衙門奏請“先就北洋創設水師一軍”。

1875年5月，直隸總督兼北洋大臣李鴻章奏命督辦北洋事宜，開始向國外購買船艦，70年代主要是英國，從80年代起，逐漸轉向德國。

1876年起，又陸續派遣海軍生員分赴英、法學習海軍。後在天津設立海軍營務處，辦理海軍事務;設立水師學堂，聘用英、德洋員培養海軍人才。

1885年中法戰爭結束後，清政府設立海軍衙門，派醇清王奕譞總理海軍事務，慶郡王奕劻及李鴻章為會辦，善慶、曾紀澤為幫辦。實權操於李鴻章之手。李借整頓海軍之名，加速購置船艦槍炮，擴充北洋海軍。但因西太后移海軍經費3000萬兩修建頤和園，致使1888年後，停置艦船，1891年後， 又停購軍火。

1888年，制定《北洋海軍章程》，10月，北洋成軍，共有新舊大小船艦25艘，官兵4000餘人，以淮系將領丁汝昌為提督。英人琅威理任總教習。劉步蟾、林泰曾、方伯謙、鄧世昌等人分任各艦管帶(即艦長)。但軍事訓練由英，德兩國教習操縱。李鴻章還在旅順口、大連灣、威海衛等地佈置防務和修築炮臺、船塢。旅順、威海成為北洋海軍兩個主要基地。

在1894年中日甲午黃海海戰中，雙方艦隻互有折損。1895年1月，當日軍從榮成灣登陸，水旱兩路夾擊威海時，李鴻章嚴令避戰保船，致使北洋海軍被困威海，坐以待斃，2月全軍覆沒。此後雖曾購置一些艦船，仍保留北洋水師名義，設有統領等官，但已不成軍。

1909年(宣統元年)清廷成立籌辦海軍事務處，沿海各艦隊改為巡洋艦隊和長江水師，北洋海軍名義遂被取消。