祁門原為歙州黟縣和饒州浮樑二縣地。唐永泰元年(765)，方清起義，據黟縣赤山鎮設閶門縣。永泰二年(766)劃黟縣赤山鎮和浮樑縣一部設定祁門縣。合縣城東北祁山、西南閶門而得名。 建縣後屬歙州。宋宣和三年(1121)，改歙州為徽州，本縣屬徽州。元至元十四年(1277)升徽州為路，本縣屬徽州路。元至正十七年(1357)，改徽州路為興安府，本縣屬興安府。明太祖吳元年(1364)改興安府為徽州府，本縣屬徽州府。民國元年(1912)廢府存縣，本縣直屬省轄。民國3年，本縣屬蕪湖道，民國17年廢道，本縣復由省直轄。民國20年施行首席縣長制，徽州首席縣長駐歙縣，兼管祁門。民國21年，本縣屬安徽省第十行政督察區。民國29年8月，本縣屬皖南行署第七行政督察區。民國34年撤銷皖南行署，本縣屬安徽省第七行政督察區。1949年4月26日祁門解放，5月屬徽州專區。1956年1月徽州專區撤銷，本縣改屬蕪湖專區。1961年4月重設徽州專區，本縣復屬徽州專區。1971年3月改專區為地區，本縣屬徽州地區。1988年元月，徽州地區撤銷，新置黃山市，本縣隸屬黃山市。

中國御醫之鄉祁門是新安醫學的發源地，在歷史上供職於歷朝太醫院的御醫有19人，被譽為中國御醫第一縣。今年，該縣為進一步弘揚新安醫學，開發地方特色文化旅遊資源，投資300多萬元建設御醫展覽館，館址位於明代御醫王琠的故鄉歷口鎮歷溪村。村中的古橋-舜溪橋、觀音閣、無根水、養生池、尼姑庵、鎮堂祠、王典墓（一代御醫王典葬於此地）、懸館、王氏宗祠“合一堂”為該村明代御醫王典所建，該祠堂大門按聖濟五鳳樓形式建造，一對漢白玉抱石鼓為嘉慶皇帝所賜。村中的古樹林保留著諸多的千年古樟、白果、紅楠、香楓等珍稀名貴樹木，為徽州儲存最好的古樹林。

祁門，黃山市轄縣。地處黃山西麓，與江西毗鄰，是安徽的南大門，屬古徽州"一府六縣"之一，建縣於唐永泰二年(公元766年)，因城東北有祁山，西南有閶門而得名。