第一次是春秋末期，吳國於公元前486年在今江蘇揚州附近修建了一條溝通長江與淮河的人工河道，叫做“邗溝”。這是南北大運河最早的部分，長達150公里。第二次開鑿工程是在隋煬帝時期。為了解決南糧北運問題和滿足隋煬帝乘船到南方遊樂的慾望，隋朝於大業元年至六年（公元605-610年），花費6年時間，在疏通擴大“邗溝”的同時，分別開鑿了從洛陽至山陽（今江蘇淮安）的通濟渠；從通濟渠延伸到北接涿郡（今北京）、南連黃河的永濟渠；從京口（今江蘇鎮江）直到餘杭（今浙江杭州）的江南河。這幾段運河銜接起來，便完成了大運河的全部工程。隋朝的大運河，史稱“南北大運河”。它北起今天的北京，南至杭州，溝通了海河、黃河、淮河、長江和錢塘江五大水系，全長2700多公里，水面寬30至70米。

　　南北大運河在海河和淮河中間的一段，是以洛陽為中心向東北和東南伸展的，從地圖上看，繞了一個大弧形。元代定都大都（今北京）後，要從江浙一帶運糧到大都。為了從杭州直達北京，避免繞道洛陽，又進行了大運河的第三次開鑿工程。這次挖掘了從山東臨清至江蘇淮陰的濟州河，以及從北京經通縣到天津的北運河。這兩段運河與隋朝的大運河相連線，裁彎取直，不再繞道洛陽，由杭州直達北京，史稱“京杭大運河”。京杭大運河全長1794公里，比南北大運河縮短了900多公里。現在我們所說的大運河，一般是指京杭大運河，這與南北大運河並不是一回事。如果說到最長的運河，當然還是南北大運河。