清光緒二十一年(1895)，袁世凱接替胡燏棻，在天津小站督練新建陸軍。他在原10營近5000人的"定武軍"基礎上，又增募新兵2000多人，聘請了更多的德國教官，採取近代德國陸軍制度，組建步、馬、炮、工、輜等兵種，全部採用外國新式武器裝備，並制定新的營規營制、餉章、操典。中國真正意義上的近代陸軍由此建立，後來張之洞等南方督撫也份份在各省聘請西洋教官按照西方軍制編練新軍。但是這些都在小站練兵之後。所以中國近代炮兵建立於1895年小站練兵。

中國第一支真正意義上的炮兵部隊的建立要追溯到清末“小站練兵”時期。

1894年，中日甲午一戰，清軍慘敗，以西方海軍為模型的北洋艦隊全軍覆沒。對此，清廷認為有必要建立一支武器先進，訓練精良的西式軍隊。於是，從1895年起，清政府任命胡燏芬為編練大臣，仿照西法，在天津小站編練新軍。

胡燏芬在小站招募壯丁，組成十個營，每營大約500人，號稱“定武軍”，就是所謂的“新軍”。新軍從編制到訓練操典都模仿德國的辦法。不久，胡燏芬另調他職，清廷讓袁世凱接掌編練新軍事宜。

“定武軍”十個營，計有步兵3000人，炮隊1000人，馬隊250人，工程隊500人，總兵力4750人。袁世凱接辦後，改“定武軍”為“新建陸軍”。專業炮兵部隊首次出現在了中國軍隊的序列中。

1899年，義和團反帝愛國運動發生，此時袁世凱編練的新軍已初具規模。袁世凱被清廷任命為署理山東巡撫，帶領新軍開赴山東鎮壓義和團。他趁機將山東舊軍三十四營加以整頓，編成馬、步、炮隊共二十個營，總計兵力達到20000人。

袁世凱的新軍以鎮為戰略基本單位，指揮官稱為統制；下設兩協，指揮官稱協統；每協轄兩個標 ，指揮官稱標統；標下轄三個營，營的指揮官稱管帶。此時袁世凱親自統帶的新軍第四鎮中設有炮兵一標。

該標炮兵共有三個營，每營官兵568人，其中戰鬥官兵392人，勤雜人員149人，備補兵27人。每營配備6英寸口徑德國克虜伯大炮18門，彈藥車18輛，鐵爐車3輛，零件車3兩，備用彈藥車9輛，隨營車6輛，騾馬410匹（隨營車用騾，其餘車輛用馬）。

新軍的編成，尤其是新式炮兵的出現，大大加強了清政府的軍事實力。是中國的戰爭史由冷兵器時代過渡到熱兵器時代的關鍵一步。此後經過北洋軍閥時期、國民政府時期的進一步發展，炮兵已成為軍隊序列裡一個不可或缺的兵種。

中國第一支近代炮兵是淮軍以常勝軍炮隊為基礎組建的炮營。

太平天國起義爆發以後，清軍的八旗、綠營在長期承平以後早已腐化不堪，面對太平軍可以說是節節敗退。在這種情況下，清廷下令各地自己組建練勇和太平軍作戰外。太平軍擊破江南大營後，開始兵進上海。蘇松太道吳煦透過楊坊，讓美華人華爾招募組建了洋槍隊，協同清軍作戰。

反應太平軍和洋槍隊作戰的繪畫

1862年初洋槍隊被擴編為常勝軍，此後常勝軍迅速擴大，到年底時已經有5個人步兵團、1個狙擊手團和一個炮兵隊，有6500多人。其中的炮兵隊有4個攻城重炮中隊和2個野戰炮中隊，裝備了包括八英寸口徑大炮在內的的39門火炮。此外常勝軍還有一支內河艦隊，也裝備有大量的火炮。

李鴻章組建淮軍以後，由於初期缺乏炮兵，因此在攻城戰中經常請常勝軍配合，常勝軍炮隊的重炮在攻打太倉、崑山、蘇州、常州等戰役中發揮了重要的作用，給李鴻章留下了深刻印象。

所以在1863年12月李鴻章因為蘇州殺降事件和常勝軍統領戈登鬧翻以後，李鴻章雖然在1864年5月奏請解散常勝軍，但是常勝軍的炮隊卻被他保留下來，編入了淮軍。這個炮隊原有火炮30多門，士兵600人，被李鴻章編為一個營，命副將銜遊擊羅榮光為管帶。

這個炮營被李鴻章作為親兵一直帶在身邊，此後隨著李鴻章東奔西走，最後駐守天津大沽，兵力已經擴充到了1800多人，羅榮光也升到了新疆喀什噶爾提督。此後在1900年義和團運動時，八國聯軍攻打大沽口，羅榮光戰死，炮隊被打散，從此消亡。