1947年春季開始，東北民主聯軍在東北戰場節節獲勝，這年5月，羅榮桓從蘇聯養病回來，負責部隊的思想、組織、後勤建設，抓部隊擴充，物資供應，軍工生產等工作，為即將到來的東北決戰奠基礎。
羅榮桓首先開展的是思想政治建設，他推廣和領導了訴苦運動和新式整軍運動，大大提高了指戰員的思想覺悟，增強了部隊的戰鬥力。羅榮桓的這套思想政治建設，頗有亮點，他把土改教育，階級教育融入到戰鬥動員中，他讓下面部隊將訴苦經驗加以總結，釋出在《東北日報》上，既鼓舞了戰士，也激勵了人民。1948年初，羅榮桓在東北軍區發起了“五整一查”運動，即整頓思想、作風、關係、紀律，編制，查成份，將殲滅東北敵人的口號深入全軍。
羅榮桓元帥和夫人
接著在羅榮桓主持下，東北民主聯軍（1948年1月1日改為東北人民野戰軍）組建二線兵團，在組建過程中，羅榮桓一改過去由民兵、地方部隊到主力部隊逐步發展的方式，直接動員大批翻身農民，工人入伍，抽調野戰軍或地方武裝的幹部，老戰士骨幹，直接變成獨立團，實施短期訓練後，就補充到主力部隊或組編新的師。1948年1月5日-7日，羅榮桓主持召開了北滿7個軍區即吉林、牡丹江、松江、合江、龍江、嫩江、遼吉首長會議，在會議上，他提出了1948年的建軍計劃，討論了組建二線兵團第一批獨立團的訓練和編制，第二批獨立團的準備，幹部的培養以及前線軍區的作戰任務等。
羅榮桓在會議上說：“目前正在訓練的第一批40個獨立團，必須在1月底前每團補充2500人，一個也不能少，而且要切實保證兵員質量。到3月間，這些獨立團開赴前線補充主力的時候，總部將派人實地點驗，包括人員的素質和練兵成績。第二批獨立團，經過各省委商量，東北局決定再成立126個，其中北滿46個，熱河50個，南滿30個，每團2500人，總計30萬人。”此外，他還對二線兵團中的武器裝備，後勤供應等問題，做了具體規定和要求。
四野二線兵團動員
在羅榮桓的直接領導和嚴格監督下，到了1948年3月攻勢結束時，第一批成立並已訓練完畢的獨立團達到了88個，22萬人，其中大部分補充到了主力部隊中，再加上5萬反正的戰士，使得老牌的第一、二、三、四、六縱隊各達到了4.2萬人，1947年8月成立的第七、八、九、十縱隊也達到了3.4萬人。同時，二線兵團的另一部分和地方兵團編成了14個獨立師，此外還有1個炮兵縱隊，1個坦克團，3個騎兵師，1個鐵道縱隊。到8月，遼瀋戰役前夕，東野的主力部隊達到了70萬人，加上地方部隊，總兵力為105萬，這其中二線兵團補充部隊達到164個團，37萬人。此外，這批部隊不僅人數多，軍事素質也不錯，特別是經過5個月的大練兵，掌握了包括攻堅戰在內的各種技巧。相比之下，當時在東北的國民黨軍隊才55萬人，其中7萬還是保安部隊，這些部隊被分割壓縮在長春，瀋陽，錦州為中心的狹隘地帶，與華北之間的陸上聯絡完全被切斷，補給主要靠空運，士氣低落。
當然，光有部隊時不夠的，還需要大量的武器裝備，來滿足百萬大軍的訓練、作戰等各種消耗，這個任務自然也是羅榮桓負責，由於部隊擴充套件過快，原來日，偽投降時留下的武備已經遠遠不能滿足，部隊所需的槍支彈藥，一方面要靠大量繳獲，一方面要依靠自己的軍工產業，在這種情況下，羅榮桓在1947年10月主持成立了軍工部，並任命何長工為軍工部部長和軍械部長，大力發展東北軍事工業。在羅榮桓支援下，何長工把日本俘虜的軍工專業人員留下來服務，又抽調了幾萬戰士學習培訓，參加軍工生產。經過半年多努力，東北解放區共成立了55個大小兵工廠，這些工廠不僅能夠維修各種武器，還能生產大量的槍炮。這其中最出名的當屬大連兵工廠，到1948年，這個廠共有8000多工作人員，僅75山炮炮彈就可以生產3萬餘發。當然，這也少不了蘇聯人的幫忙，當時大連在蘇軍掌握中，國民黨飛機就無法實施攻擊，炮彈運輸也基本上用的是蘇聯的貨輪，國民黨軍艦不敢攔截，還有就是蘇聯將大量日本軍工技術人員移交給我方。
四野炮兵
除了軍工生產外，羅榮桓還指示何長工從蘇聯手中爭取原日製武器，何長工用喝酒，跳舞加半開玩笑向斯大林告狀的辦法，從蘇聯人瓦加洛夫手中弄回來了幾十萬條槍和大批武器彈藥。經過羅榮桓，何長工以及廣大工作人員努力，到遼瀋戰役前夕，東野擁有迫擊炮以上火炮2300門，其中山炮600門，高射炮100門。
在後勤建設，後方建設方面，羅榮桓同樣沒落下，他統一了標準、制度和開支的問題，提出了許多詳細具體的加強後勤建設的規定和要求，他還再三強調，要節約人力，物力，減輕人民負擔，指出不能浪費一粒糧食，不多用一個民夫，他說：“浪費就是對戰爭的不負責，對戰爭犯罪。”在他主持下，東北廣大群眾在政治上，經濟上獲得翻身解放，工農業有了較大發展，僅鐵路一項，到遼瀋戰役前夕，全解放區擁有鐵路1萬餘公里，大部修復通車。人民群眾積極支援前線。
所謂兵馬未動，糧草先行，羅榮桓在遼瀋戰役之前，大抓思想建設，兵工生產，後勤建設，為解放戰爭中第一場大決戰的勝利，提供了巨大的物質保障。