三國東吳孫皓元興元年(264年)始置祁陽縣，縣治設今祁東縣金蘭橋新橋村，佔地面積約五萬平方米 。

隋文帝開皇九年(589)廢祁陽，其地屬泉陵縣。唐高祖武德四年(621)復置祁陽縣，縣治設海水灣(今茅竹老山灣)．

明景泰三年（1453）,因縣治地勢低、屢被淹，加之苗寇入境殺掠，移治今浯溪鎮內，築城方正，面積約0.16平方公里。明成化十年（1474）重修擴建，城區面積達1.53平方公里。

清乾隆五十九年（1794），縣城再度北拓，面積增至1.7平方公里。此後，由於戰亂，縣城面積時有增減，但基本都是在2平方公里左右。直至1987年，縣城面積拓展到5平方公里，1993年，拓展到7.4平方公里，2000年，縣城面積15.3平方公里，到2003年，面積已達17.48平方公里。截止2019年底，縣城面積已經達33平方公里。