建國初的農業，面臨的最大問題是江河水患肆虐。新中國由此開始了一場向大自然宣戰、治理江河洪水、興修水利的聲勢浩大的人民戰爭。

全國大大小小上千條河流，每年都會發生多場洪水氾濫，河堤決口，洪水淹沒和沖毀良田，村莊房屋倒塌，百姓流離失所，甚至家破人亡等，成為廣大人民群眾的最大禍患。其次是乾旱，北方廣大地區缺少雨水，土地不能灌溉，旱情嚴重時甚至顆粒無收。正常年景下畝產只有二、三百斤。當時農業完全處於靠天吃飯、受大自然擺佈的狀況。因此，治理江河水患成為共產黨和人民政府亟待解決的最大民生問題。1951年5月毛澤東親筆題詞：“一定要把淮河修好。”大大推動了當時的水利建設。

1951年的春、冬，蘇北運河整修工程和蘇北灌溉總渠先後完工。建成了一條長達168公里的蘇北灌溉總渠。7月淮河上游的石漫濰水庫完工，該水庫是淮河上游完成的第一個水庫。可蓄洪水4700萬立方米，灌溉農田9萬畝。11月高良澗進水閘和淮安支東分水閘先後開工。1952年淮河支流穎河上游的白沙水庫和汝河上游的板橋水庫開工興建。冬來暑往，治淮工程一個接一個。1953年新沂河嶂山切嶺、蘇北導沂整沭、淮安楊廟穿運、三河閘、劉老澗節制閘等陸續開工或完成。安徽省以修築淮北大堤為主，實施了淮河干流和主要支流的堤防工程建設。在正陽關以下淮北大堤上修建涵閘 防洪排澇工程；疏浚了西淝河、濉河等重要支流；完成了西淝河、茨河、北淝河等支流的水系調整和截源改道工程。1954年佛子嶺水庫完工，該水庫可蓄洪水5億立方米，灌溉農田70多萬畝，並可減輕淮河的洪水威脅等。1954年淮河再次發生特大洪水，但由於這些水利設施發揮作用，洪水東注黃海，南入長江，順暢下洩，沒有發生水患。1956年淮河中游史河上游的梅山水庫攔河大壩建成。大壩全長558米，壩高84米，大大增強了水庫的蓄水能力。

此外，全國各地的治水工作也都全面展開。1950年河北省渤海區灌溉工程的四大重點之一的薊運河灌溉工程開工；長江最大支流之一的漢水治理工程開始；湖南大通湖蓄洪墾殖工程開工。（該工程建成後可蓄洪水22億立方米，將大大減少長江中下游及洞庭湖沿岸的水災。）1951年河北省獨流減河工程開工，1953年完工。該工程包括開挖獨流減河、南運河改道等主要部分。這一工程的完工，完全解除了天津市和津浦鐵路的洪水威脅。

1952年10月毛澤東視察黃河，發出“要把黃河的事情辦好”的號召，從此根治黃河的工程提到日程。1953年河南省境內的引黃濟衛（衛河）工程全部修建完工，共修築渠道4945公里，可灌溉農田72萬畝。長江干流上興建的第一個最大的防洪工程— 荊江分洪工程，於1952年始建，1953年完成。該工程包括修築黃天湖大堤、修建進洪閘（太平口）和節制閘（黃山頭），加固堤防，整理分洪區渠道等，分洪區總面積921平方公里，圍堤周長208公里，建成後分洪區蓄水量可達54億立方米。

1954年中國第一座大型山谷水庫— 北京市郊區永定河官廳水庫竣工。該工程於1951年開工，建成後蓄洪水22億多立方米，大大減少了水患威脅。

1954年夏，長江、淮河中下游由於雨量特別集中，均超過歷史最高水位，長江岸邊的大城市武漢告急。但由於幾年來治水工程的成效，以及當地黨政、民眾奮力抗洪，終於使洪水沒有釀成滅害，確保了武漢的安全。事後毛澤東題詞：“慶賀武漢人民戰勝了一九五四年的洪水”。

1956年3月新華社報道，全國興修農田水利的五年計劃提前、超額完成，經過五年的努力，不僅大大減少了水患，而且實現了擴大農田灌溉面積達800萬公頃，比原計劃480萬公頃超額約40% 。這標誌著治水工作取得了階段性勝利。1958年起興建了從洪澤湖到新沂河的淮沭河工程。河長100公里，寬1.04公里，並建造了二河閘、淮陰閘、沭陽閘等控制工程，跨淮河和沂沭河兩流域調水，達到分淮入沂，淮水北調和淮沂互濟的綜合治理目標，增強了排程排洪的能力。到六十年代，共建成了佛子嶺、梅山等10座大型水庫和官溝、響水壩等一大批中型水庫以及幾百座小型水庫；先後開建了城西湖、城東湖、蒙窪和瓦埠湖4個蓄洪工程；沿淮開闢了18個行洪區；初步形成了蓄洩兼籌的中游幹流防洪工程體系。歷史上多災多難的淮河兩岸人民，在從建國初治淮以後到七十年代末雖然發生過多次大洪水，但卻再沒有釀成重大水患。

由於1958年農村人民公社的普遍建立，使大型水利工程能夠進行統一規劃、部署，不再受原來縣、鄉區劃的侷限；同時大大增強了勞動力和資源的統一調配、開展大協作和八方支援的能力，因此使水利建設的規模進一步擴大。這就大大促進了全國的水利化建設。在新中國水利建設史上，有許多治水的大工程、大建設是在三年大躍進時期實施的。在大躍進中，各地興起了修建水庫的熱潮。至今遍佈全國的水庫，其中有半數以上始建於大躍進時期。如著名的北京十三陵水庫就是在1958年修建的，當時毛澤東和其他中央領導人都曾到工地上參加過義務勞動。還有其他一些大型水庫，如北京密雲水庫、浙江新安江大水庫、遼寧省湯河水庫、河南省鴨河口水庫、廣東省新豐江水庫、海南省松濤水庫等，都是在大躍進中施工或建成的。這些大型水庫都具有蓄水、防洪、灌溉、抗旱、養殖、發電等綜合性功能，對當地的環境、生態和經濟發展起著重大作用。

上世紀六、七十年代，水利建設作為“農業學大寨運動”的一個重要組成部分，更加廣泛、深入地開展起來。其主要特點是由過去的偏重防洪向綜合開發利用的目標發展，貫徹毛主席“水利是農業的命脈”的號召，主要解決農業用水和抗旱問題。為此還開掘了許多新河道，修建了大量的水利樞紐工程，治水規模和投入進一步擴大。

這時期的一些大型水利工程，如震驚中外的河南林縣“紅旗渠”，被稱為“人造天河”， 該渠於1960年動工，1969年全部竣工。在當時困難艱苦的條件下，林縣人民硬是在巍巍太行山的懸崖峭壁、險灘峽谷中開鑿出一條河道。在施工過程中共削平了1250座山頭，共開鑿懸崖絕壁50餘處，斬斷山崖264座，鑿通隧洞211個，跨越溝澗274條，架設了152座渡槽，共動用土石方2229萬立方米。創造出了水利建設史上的奇蹟！全渠由總乾渠及3條幹渠、數百條支渠組成。總乾渠長70.6公里，引水量20立方米/秒。支渠配套工程建砌石渠道595米，總長約1500公里。建成後灌溉面積擴大了60萬畝。大大緩解了當地的農業乾旱缺水問題。湖北省漢北河也是一條人工河，1970年竣工，全長110多公里，建成後擴大灌溉面積100多萬畝，等等。

類似於這樣大大小小的水利工程，在整個毛主席時代至少建設了上萬座，大多數都沿用至今，不但解決中國幾千年以來的水患問題，還奠定了中國成為農業大國，糧食高產的堅實基礎。