祁陽黃帝時“劃野分州，祁為湘上游”。舜帝時，祁陽為“荊州南境”。春秋戰國時，祁陽為楚國之南疆。秦始皇統一中國後，置郡縣，祁陽屬長沙郡。西漢時，分長沙郡南部，置桂陽、零陵二郡，祁陽屬零陵郡泉陵侯國。東漢時，除泉陵侯國為縣，祁陽屬泉陵縣隸屬未變。（縣史志辦）　　三國東吳孫亮太平二年（257年），分泉陵縣，置祁陽縣和永昌縣，仍屬零陵郡。祁陽縣西晉懷帝永嘉元年（307年）由荊州改屬湘州零陵郡。南北朝的宋、齊、梁、陳，祁陽的隸屬關係未有重大改變。隋開皇九年（589年），祁陽、永昌併入零陵縣，隸屬湘州永州總管府，隋煬帝大業三年（607年）改湘州永州總管府為零陵郡，祁陽屬零陵郡。唐武德四年（621年），析零陵縣復置祁陽縣，並將永昌縣併入祁陽，將縣治由金蘭橋（今祁東）遷至老山灣（今茅竹鎮老山灣村）。唐貞觀元年（627年），撤祁陽縣併入零陵縣。唐貞觀四年（630年），祁陽縣被恢復，隸屬江南西道永州。五代時，隸屬江南西道永州零陵郡。宋朝時，祁陽隸屬荊湖南路永州零陵郡。元朝屬湖南道宣慰司永州路。明朝隸屬湖廣承宣布政使司永州府。明景泰三年（1452年）遷縣治於檀山灣（今址）。清朝隸屬湖南省衡永郴桂道永州府。