清軍入關前，成吉思汗第二十代世孫鄂爾多斯部落首領額林臣率部歸順後金。

清順治六年（公元一六四九年），清王朝對鄂爾多斯部落分旗而治，置六旗。

額林臣被清世祖封為多羅郡王，並任伊克昭盟第一任盟長，其封地為鄂爾多斯左翼中旗，俗稱郡王旗（1958年該旗與扎薩克旗、達爾扈特部轄地合併為伊金霍洛旗）。郡王府為郡王旗扎薩克（“扎薩克”是蒙語，漢意為“治理”）的私邸。由於歷代王爺的世襲更替，其王府亦不斷遷徙。

郡王府始建於臺吉召，之後又遷於昌汗伊力蓋召、吉蓋特拉、獨貴什裡等地，其間住所多為蒙古包。

光緒初年，王府遷至阿鎮東南距現存郡王府駐地約一華里的烏蘭木都，其住所為15間瓦房和部分蒙古包。

光緒二十八年（一九零二年），郡王旗第十四代扎薩克特克斯阿拉坦呼雅克圖襲位後，王府正式遷至現存郡王府所在地，其住所為半磚木結構的9間正房和6間土建平房，並用沙柳扎圍做院。民國十七年（一九二八年），該旗第十五代扎薩克圖布升吉爾格勒多羅郡王請來山西偏關匠人宋二等三十餘名能工巧匠，開始郡王府的翻新建設，到民國二十五年（一九三六年）完工，整個工程耗資13800餘銀元，相當於該旗當時一年半的全部財政收入。

新建的郡王府規模宏大、富麗堂皇。《伊克昭盟志》當時稱讚該府“畫閣雕樑、龍文鳳彩、備極富麗，為伊盟最新的王府”。