漢朝以前，市境屬疏勒國。

漢宣帝神爵二年（前60年），正式歸入漢朝版圖。

魏晉時，阿圖什轄於西域長史府，隋開皇三年（583年），阿圖什屬西突厥。

唐貞觀二十三年（649年），隸屬於安西都護府之疏勒都督府。

唐開成五年（840年），回鶻等部建立喀拉汗王朝，阿圖什是其領地。

蒙古汗國時，阿圖什屬察合臺汗領地。

元明之際，阿圖什屬東察合臺汗國。明代葉爾羌汗國建立，阿圖什是其領域之一。

清乾隆二十四年（1759年），清政府平定大小和卓之亂後，阿圖什受喀什噶爾辦事大臣管轄，阿圖什莊設阿奇木伯克，管理地方事務。

清光緒十年（1884年），阿圖什轄於新疆省。

民國27年（1938年）9月，阿圖什設治局成立。將原屬伽師縣的大阿圖什莊和原疏附縣的小阿圖什莊劃歸其管轄。

民國32年（1943年）1月，阿圖什設治局升格為丙級縣，隸屬喀什行政長公署。

1950年3月，成立阿圖什縣人民政府，隸屬喀什專員公署。

1954年7月14日，克孜勒蘇柯爾克孜自治州成立，阿圖什縣劃歸其管轄，並被定為自治州首府。

1986年6月，國務院批准撤銷阿圖什縣，成立阿圖什市。