臨泉，古稱沈地。公元前1042年，周文王十子聃季載封於沈，境內建立沈子國。公元前506年，沈為蔡國所滅，後蔡為楚國所滅。秦始皇二十六年(公元前221年)置平輿縣。西漢時西部置鮦陽縣。東漢永建元年(公元126年)置阜陽侯國。隋開皇三年(583年)年始置沈丘縣。唐武德元年(618年)在今境內東部置高塘縣。貞觀元年(627年)入淮陰縣。宋屬順昌府。明初入潁州。清雍正十三年(1735年)，潁州升為府，設阜陽縣，即為阜陽西鄉之地，在驛口橋(今老集)設府同知，在沈丘集(今縣城)設巡檢司。民國二十三年(1934年)9月，析阜陽縣西鄉設立新縣，因縣城濱臨泉河，故名臨泉縣，屬安徽省第七行政督察區。1947年～1949年，境內分置臨泉、泉南、泉陽三縣和臨泉市，歸豫皖蘇區第四地委、四專署所轄。1949年將三縣一市撤銷恢復舊臨泉縣，屬皖北人民行政公署阜陽專區。1952年屬安徽省阜陽專區，1971年屬安徽省阜陽地區，1996年屬安徽省阜陽市。