一九四六年六月，距離抗戰勝利還不到一年，蔣介石悍然撕毀"雙十和平協定"，集結位於華中、華東地區的數十萬國民黨軍向解放區發起全面進攻，妄圖透過突然襲擊的方式一舉殲滅該地區的解放軍有生力量。我軍奮力迎敵，在開戰前期打了幾個漂亮仗，給敵人一定的挫傷。但敵人在飛機大炮的火力優勢掩護下猛烈進攻，我軍為了儲存有生力量主動進行戰略轉移，蘇中地區落入敵軍之手。

攻下蘇中地區後，敵軍仍不知收斂，徐州綏靖公署主任薛嶽率領二十五個整編旅，想要複製攻佔蘇中地區的戰績，與我軍主力在蘇北魯南地區進行決戰，一舉攻佔蘇北地區與山東解放區首府東臨沂地區。針對目前的實際情況，我軍為了更好的應對敵人的攻勢，將山東野戰軍與轉移出來的華中野戰軍進行合併。合併後我軍各部隊協調能力、戰鬥力都得到了顯著的增強，在宿北戰役中消滅了敵整編六十九師大部，給了敵人當頭一棒。

雖然整編六十九師遭受毀滅性打擊，但國軍其他主力部隊還是逼近到了臨沂地區，其中包括一個機械化快速縱隊。為了擴大戰果，解臨沂之圍，解放軍兵分兩路，形成左右兩路縱隊，左右路相繼交替掩護配合，向敵整編二十六師、五十一師發起突然進攻。敵人根本沒有想到大兵壓境下還有解放軍能夠展開反攻，被打了個措手不及，兩個師被全殲。

這一仗不僅消滅了敵軍的大量有生力量，給剛剛合併的我軍重大的信心，另一方面，繳獲了敵人快速縱隊及其他部隊中大量的摩托化機械化武器，坦克火炮汽車等應有盡有。為了充分發揮這些武器的威力，提高我軍的戰鬥力，我軍開始利用這些裝備籌劃組建一支專業的炮兵部隊。但是由於在華東野戰軍、山東野戰軍序列中沒有專業的炮兵部隊，很多指戰員也都是"泥腿子"出身，對於炮兵部隊的組建只是一知半解的狀態，沒有很深的理論研究，無法承擔起炮兵司令的任務，因此人選並不算多。經過多方面綜合考量，原新四軍司令部參謀長，陳銳霆成為了新組建的炮兵縱隊司令。

陳銳霆除了是司令部參謀長，同時也是炮兵司令員，但由於我軍平時的作戰中一直缺少大量的重型火炮，也沒有相應的炮兵部隊，因此他的這個所謂的司令只能算是"光桿司令"，平時從事的工作也幾乎和大炮沒有任何的關係。陳銳霆出生於貧民百姓家，早年時因憎恨帝國主義的侵略，本來是學校教師的他努力學習考入了黃埔軍校，在炮兵分隊度過了他的軍校生涯，從軍校畢業後在國軍中幹了一段時間，皖南事變後因受到紅色力量的感染，投誠到了新四軍這邊。從軍校畢業後，無論是在國軍還是在我軍序列中，他都甚少接觸過火炮相關的作戰任務，所以這樣的一個機會對他來說可謂是千載難逢。

新組建的炮兵縱隊，從火力配備到建制規模來看在解放軍中都是很有地位的，除了配備有數十門美國造大型榴彈炮以及其他種類的大口徑火炮之外，還設有騎兵團、工兵分隊、坦克分隊，這樣強大的火力配置甚至都可以和國民黨的機械化摩托化部隊扳扳手腕。自陳銳霆出任炮兵司令後，他終於將自己的專業優勢充分的發揮了出來，部隊訓練有素，炮火打擊精準，在解放戰爭的多次戰鬥中立下了不少的戰功，給一線作戰部隊減輕了不少的壓力，特別是在一九四八年的濟南戰役中，陳銳霆指揮炮兵縱隊的五百門火炮參加了戰鬥，這樣的規模在我軍歷史上也是首次，想一想五百門大炮齊鳴，這樣的場面在當時真可謂歎為觀止了。