公元444年，江淹出生於宋州濟陽考城（今河南省商丘市民權縣程莊鎮），故里位於今民權縣程莊鎮。 祖父江耽。父親江康之，南沙令，雅有才思。江淹少時孤貧好學，六歲能詩，十三歲喪父，家境貧寒，曾採薪養母。二十歲左右教宋始安王劉子真讀五經，並一度在新安王劉子鸞幕下任職，開始了他的政治生涯。
江淹在仕途上早年不甚得志。泰始二年（466年），江淹轉入建平王劉景素幕。 江淹受廣陵令郭彥文案牽連，被誣受賄入獄，在獄中上書陳情獲釋。 劉景素密謀叛亂，江淹曾多次諫勸，劉景素不納，貶江淹為建安吳興縣令。江淹的許多代表作品都寫於被貶期間。宋順帝升明元年（477年），齊高帝蕭道成執政，把江淹自吳興召回，並任為尚書駕部郎、驃騎參軍事，大受重用。
尋舉南徐州秀才，對策上第，轉巴陵王國左常侍。景素為荊州，淹從之鎮。少帝即位，多失德。景素專據上流，鹹勸因此舉事。淹每從容諫曰：“流言納禍，二叔所以同亡；抵局銜怨，七國於焉俱斃。殿下不求宗廟之安，而信左右之計，則復見麋鹿霜露棲於姑蘇之臺矣。”景素不納。及鎮京口，淹又為鎮軍參軍事，領南東海郡丞。景素與腹心日夜謀議，淹知禍機將發，乃贈詩十五首以諷焉。
會南東海太守陸澄丁艱，淹自謂郡丞應行郡事，景素用司馬柳世隆。淹固求之，景素大怒，言於選部，黜為建安吳興令。淹在縣三年。升明初，齊帝輔政，聞其才，召為尚書駕部郎、驃騎參軍事。俄而荊州刺史沈攸之作亂，高帝謂淹曰：“天下紛紛若是，君謂何如？”淹對曰：“昔項強而劉弱，袁眾而曹寡，羽號令諸侯，卒受一劍之辱，紹跨躡四州，終為奔北之虜。此謂‘在德不在鼎’。公何疑哉？”帝曰：“聞此言者多矣，試為慮之。”淹曰：“公雄武有奇略，一勝也；寬容而仁恕，二勝也；賢能畢力，三勝也；民望所歸，四勝也；奉天子而伐叛逆，五勝也。彼志銳而器小，一敗也；有威而無恩，二敗也；士卒解體，三敗也；搢紳不懷，四敗也；懸兵數千裡，而無同惡相濟，五敗也。故雖豺狼十萬，而終為我獲焉。”帝笑曰：“君談過矣。”是時軍書表記，皆使淹具草。相國建，補記室參軍事。建元初，又為驃騎豫章王記室，帶東武令，參掌詔冊，並典國史。尋遷中書侍郎。永明初，遷驍騎將軍，掌國史。出為建武將軍、廬陵內史。視事三年，還為驍騎將軍，兼尚書左丞，尋復以本官領國子博士。少帝初，以本官兼御史中丞。
宋順帝升明初年，蕭道成（後為齊高帝）輔政時，荊州刺史沈攸之忠於宋，舉兵反對蕭道成。蕭道成詢問江淹，江淹向他陳說蕭道成必勝而沈攸之必敗的五條原因。第二年沈攸之果然戰敗自殺身亡，江淹也因此而甚得齊高帝賞識。齊東昏侯永元年間，崔慧景造反，率叛軍圍困京城建康，城內士族官僚紛紛投身於叛軍門下，只有江淹稱病不往。崔慧景很快兵敗，眾皆服江淹有遠見。後來蕭衍帶兵至新林（今江蘇省南京市西南），士族官僚對他並沒有看好，人人安之若素，而江淹卻脫去官服，投奔蕭衍。後蕭衍稱帝，江淹得到重用。
江淹為官清正，不避權貴，直言敢諫。宋後廢帝劉昱即位“多失德”，劉景素又偏聽偏信左右之言，政局岌岌可危。江淹從容直諫，劉景素怒而不納，江淹贈詩十五首以諷諫。江淹任御史中丞時，彈劾中書令謝朏、司徒左長史王繢、護軍長史庾仲遠。也曾奏前益州刺史劉悛、梁州刺史陰智伯有髒物寶貨成千上萬，並拘捕了他們，交朝廷治罪。其他被檢劾論治的違法官員更是不勝列舉。齊明帝曾當面稱讚江淹：“從宋代以來，不曾有嚴明的御史中丞，君今天可說近代獨一無二了。”
蕭道成代宋自立，江淹被任為驃騎豫章王記蕭嶷室帶東武令，遷中書侍郎，齊武帝永明間，任廬陵內史、尚書左丞、國子博士諸職。少帝蕭昭業即位，江淹任御史中丞。明帝蕭鸞時，又任宣城太守、秘書監諸職。
梁武帝蕭衍代齊後，江淹官至金紫光祿大夫，封醴陵侯。梁天監四年（505年），江淹去世，時年六十二。葬在故里江集村東北約六公里處（今民權縣李堂鄉嶽莊村西），梁武帝為他素服舉哀，諡曰憲伯。 《梁書》、《南史》有傳。
公元444年，江淹出生於宋州濟陽考城（今河南省商丘市民權縣程莊鎮），故里位於今民權縣程莊鎮。 祖父江耽。父親江康之，南沙令，雅有才思。江淹少時孤貧好學，六歲能詩，十三歲喪父，家境貧寒，曾採薪養母。二十歲左右教宋始安王劉子真讀五經，並一度在新安王劉子鸞幕下任職，開始了他的政治生涯。
江淹在仕途上早年不甚得志。泰始二年（466年），江淹轉入建平王劉景素幕。 江淹受廣陵令郭彥文案牽連，被誣受賄入獄，在獄中上書陳情獲釋。 劉景素密謀叛亂，江淹曾多次諫勸，劉景素不納，貶江淹為建安吳興縣令。江淹的許多代表作品都寫於被貶期間。宋順帝升明元年（477年），齊高帝蕭道成執政，把江淹自吳興召回，並任為尚書駕部郎、驃騎參軍事，大受重用。
尋舉南徐州秀才，對策上第，轉巴陵王國左常侍。景素為荊州，淹從之鎮。少帝即位，多失德。景素專據上流，鹹勸因此舉事。淹每從容諫曰：“流言納禍，二叔所以同亡；抵局銜怨，七國於焉俱斃。殿下不求宗廟之安，而信左右之計，則復見麋鹿霜露棲於姑蘇之臺矣。”景素不納。及鎮京口，淹又為鎮軍參軍事，領南東海郡丞。景素與腹心日夜謀議，淹知禍機將發，乃贈詩十五首以諷焉。
會南東海太守陸澄丁艱，淹自謂郡丞應行郡事，景素用司馬柳世隆。淹固求之，景素大怒，言於選部，黜為建安吳興令。淹在縣三年。升明初，齊帝輔政，聞其才，召為尚書駕部郎、驃騎參軍事。俄而荊州刺史沈攸之作亂，高帝謂淹曰：“天下紛紛若是，君謂何如？”淹對曰：“昔項強而劉弱，袁眾而曹寡，羽號令諸侯，卒受一劍之辱，紹跨躡四州，終為奔北之虜。此謂‘在德不在鼎’。公何疑哉？”帝曰：“聞此言者多矣，試為慮之。”淹曰：“公雄武有奇略，一勝也；寬容而仁恕，二勝也；賢能畢力，三勝也；民望所歸，四勝也；奉天子而伐叛逆，五勝也。彼志銳而器小，一敗也；有威而無恩，二敗也；士卒解體，三敗也；搢紳不懷，四敗也；懸兵數千裡，而無同惡相濟，五敗也。故雖豺狼十萬，而終為我獲焉。”帝笑曰：“君談過矣。”是時軍書表記，皆使淹具草。相國建，補記室參軍事。建元初，又為驃騎豫章王記室，帶東武令，參掌詔冊，並典國史。尋遷中書侍郎。永明初，遷驍騎將軍，掌國史。出為建武將軍、廬陵內史。視事三年，還為驍騎將軍，兼尚書左丞，尋復以本官領國子博士。少帝初，以本官兼御史中丞。
宋順帝升明初年，蕭道成（後為齊高帝）輔政時，荊州刺史沈攸之忠於宋，舉兵反對蕭道成。蕭道成詢問江淹，江淹向他陳說蕭道成必勝而沈攸之必敗的五條原因。第二年沈攸之果然戰敗自殺身亡，江淹也因此而甚得齊高帝賞識。齊東昏侯永元年間，崔慧景造反，率叛軍圍困京城建康，城內士族官僚紛紛投身於叛軍門下，只有江淹稱病不往。崔慧景很快兵敗，眾皆服江淹有遠見。後來蕭衍帶兵至新林（今江蘇省南京市西南），士族官僚對他並沒有看好，人人安之若素，而江淹卻脫去官服，投奔蕭衍。後蕭衍稱帝，江淹得到重用。
江淹為官清正，不避權貴，直言敢諫。宋後廢帝劉昱即位“多失德”，劉景素又偏聽偏信左右之言，政局岌岌可危。江淹從容直諫，劉景素怒而不納，江淹贈詩十五首以諷諫。江淹任御史中丞時，彈劾中書令謝朏、司徒左長史王繢、護軍長史庾仲遠。也曾奏前益州刺史劉悛、梁州刺史陰智伯有髒物寶貨成千上萬，並拘捕了他們，交朝廷治罪。其他被檢劾論治的違法官員更是不勝列舉。齊明帝曾當面稱讚江淹：“從宋代以來，不曾有嚴明的御史中丞，君今天可說近代獨一無二了。”
蕭道成代宋自立，江淹被任為驃騎豫章王記蕭嶷室帶東武令，遷中書侍郎，齊武帝永明間，任廬陵內史、尚書左丞、國子博士諸職。少帝蕭昭業即位，江淹任御史中丞。明帝蕭鸞時，又任宣城太守、秘書監諸職。
梁武帝蕭衍代齊後，江淹官至金紫光祿大夫，封醴陵侯。梁天監四年（505年），江淹去世，時年六十二。葬在故里江集村東北約六公里處（今民權縣李堂鄉嶽莊村西），梁武帝為他素服舉哀，諡曰憲伯。 《梁書》、《南史》有傳。