古代的大砲指投石機等大型投射武器，西方的古希臘、古羅馬與東方的中國都曾使用此類武器。

《唐書·李密傳》：“以機發石為攻城械，號將軍砲。”

公元8世紀後中國發明火藥後，逐漸開始用投石機發射火藥彈，唐哀帝時鄭璠攻打豫章，曾“發機飛火燒龍沙門”，這種“發機飛火”並非指管形的火炮與炮彈，而是一種稱作炮的投石機投出的火藥球。

宋隆興元年（1163年）魏勝駐守海州時，製造出火石砲，這也是指投石機與其扔出的炮彈，而非今日的管形火炮。

現在管形火炮的起源應是南宋的突火槍與元朝時的火銃，這兩者又稱火筒。據李約瑟指出世界上最早的金屬火銃出土於中國黑龍江，製造時間為元大德二年（1298年），目前藏於黑龍江省博物館。元明時火銃分別朝向單兵化與大型化發展，元代著名的大型火銃為碗口銃，大型化的火銃出現後也繼承了火炮與炮的名稱。

英華人在1326年製作金屬火炮，在1331年奇維達萊德爾夫留利的圍城戰場上就使用過類似且小型的火銃。與此同時，14世紀歐洲文獻這時期的彩圖有圍城戰役中使用的火炮，另外，在瑞典的Loshult附近也出土過火銃，年代在1326至1346年。公元1326年義大利的佛羅倫薩城訂購了金屬製大炮，交易檔案還保留到今日。愛德華三世在1327年跟蘇格蘭人作戰中和英法百年戰爭中著名的克雷西會戰曾使用大量火炮。元末於（1332年）曾在部隊中裝備了金屬炮管火炮－青銅火銃（口徑105毫米，滑膛前膛火炮），是現今火炮的鼻祖之一。 火炮在歐洲剛投入戰場時，大致上分長炮與臼炮兩種。長炮的鑄造法與水桶類似，再用桶箍加固炮身；而臼炮則直接採用青銅鑄造（失蠟法）。 現代化的火炮來自1897年的法國加農炮French 75，它附加油壓避震器以大幅減少射擊時的後座力，這避震器源自德國工程師Konrad Haussner，他原本想將專利賣給克魯伯軍火公司，但克魯伯公司認為設計仍有問題未購買，之後法國炮兵中校Deport研究跳過 Konrad Haussner的專利，另外設計新的避震器用在火炮上，這技術於1897年成功，成為現代化火炮的原型。

原本意義上的火炮由兩個要素構成：管狀的炮管和火藥推進劑。中國唐末已穩定了火藥配方並使用黒火藥助燃。宋代各種火器蓬勃發展起來，包括管狀的火統，用現代觀點看，既可稱之為炮，也可稱之為槍。宋蒙(元)戰爭，元軍逐漸掌握了火炮技術，蒙古帝國征戰西方把火炮技術帶去，西方在先前已流入的火藥基礎上，兩者加以不斷改進，經過前膛炮(槍)、後膛炮(槍)，不炸炮彈、可炸彈丸，單發、連發，黑火藥、黃色火(炸)藥，近代發展成現代意義上的火炮。這千年間，沒有中國什麼事，中國依然是黑火藥，前膛裝填，不炸彈丸，所謂紅衣大炮，鑄造粗糙，身管短，裝填慢，與西方比嚴重落後。清代進口西方火炮(弗朗機)，至到洋務運動，中國才引進西方的現代制炮技術。直到1980年代，中國引進西德萊茵金屬(克虜伯)制炮技術，才與西方平齊。之後，中國兵工不斷改進，至目前，可以自豪地說，中國火炮已進入世界前列，某些指標已居世界領先地位。