懷集縣，秦前，肇慶屬百越地。秦始皇三十三年(公元前214年)，秦平定百越，建南海郡、桂林郡及象郡。今肇慶部分地域屬桂林郡、南海郡。秦置四會縣，轄區包括現在的四會、廣寧、懷集等市縣的全部或部分，隸南海郡[1] ，三國·吳黃武五年(公元226年)，建置沿東漢，大部分屬廣州，少部分屬交州。時北部(現懷集縣一帶)屬荊州臨賀郡[1] 。東晉永和七年(公元351年)，置16縣，分隸4郡，統屬廣州。四會縣、懷化縣隸南海郡；廣信縣、高要縣隸蒼梧郡；元溪、端溪、封興、都城、晉化、龍鄉、夫阮7縣隸晉康郡；臨允、新興、南興、單牒、平興5縣隸新寧郡[1] ，統屬廣州。南北朝時期(公元420～479年)，分屬廣州、湘州。公元479～502年增設龍鄉、羅平、永熙、賓化、寧鄉、長化、定昌、寶寧、齊安、初寧、永城11縣及廣熙、齊安、齊建、臨賀4郡，分屬廣州、湘州。公元502～589年設54縣，分屬廣州、成州、建州、新州、瀧州；梁天監六年(公元507年)九月，升高要縣為高要郡，並置廣州都督府於高要郡。 南朝劉宋元嘉十三年（436年），劃南海郡四會縣銀屯鄉設立，屬同時所置的綏建郡，地望為今縣中部和東部。劉宋年間（424～453年）分封陽縣立永固縣，地望為今縣南、西南部。南齊年間（479～502年）分封陽縣立洊安縣，屬臨賀郡，地望為今縣西部和北部。隋朝開皇九年至大業十三年（589～617年）懷集縣屬南海郡。唐朝武德四年（621年），置齊州、威州分別設治於洊安縣、懷集縣。唐朝貞觀元年（627年），懷集縣、洊安縣屬南綏州。唐朝開元二年（714年）並永固縣入懷集縣。唐開元二十九年(公元741年)，四會、懷集、化蒙、洊安4縣隸廣州[1] ；唐朝至德二年（757年）改洊安縣為洊水縣。五代（907～960年）懷集縣、洊水縣屬南漢興王府（即廣州）。宋朝開寶五年（972年）並洊水縣入懷集縣，自此形成今懷集縣的基本境域。北宋政和元年(公元1111年)，懷集縣隸廣州[1] 。

元朝至元十五年（1278年），懷集縣改隸湖廣中書行省賀州。明朝洪武九年（1376年）改隸廣西梧州府，光緒三十四年（公元1908年）懷集縣由梧州府改隸平樂府信都廳[1] 。 民國元年（1912年）改隸廣西梧州府。民國二十三年（1934年）隸屬廣西平樂督察專員公署。