自秦國消滅六國後，朝堂上對於如何管治六國故地，究竟是採用沿用已久的郡縣制，還是復行封建展開討論。當時丞相王綰認為，燕國、齊國、楚國地處偏遠，若果不在此三地分封宗室，此三地就無法真正被朝廷控制，因此建議秦始皇分封諸子，以屏藩皇室。這個建議儘管得到大部分大臣支援，但當時擔任廷尉的李斯卻力排眾議。

李斯以周王室作例子，指周王室亦分封不少姬姓公族，但他們的後代卻因為血緣疏遠，紛紛割據，互視對方為寇仇，周天子根本無力阻止諸候之間的爭端，而且諸侯根本不再將王室放在眼內，最終周朝分崩離析。分封諸子只會導致日後諸侯割據，兵甲不息。要使天下安寧，只能推行郡縣制，對於皇子功臣，用公家的賦稅重重賞賜，這樣才可以消除天下人的野心。

秦始皇認同李斯的意見，指諸侯王才是擾亂天下的禍端，正是因為他們的存在，天下人才苦於連年戰爭無止無休，渴求和平。如果重新分封諸王，只會重演春秋戰國時，各國互相攻伐的苦況，因此決定把天下分為三十六郡，直至秦亡為止，共置五十四郡，每郡都設定郡守掌民政、郡尉掌軍政、郡監掌監察，由中央朝廷委任，不得世襲，並須向朝廷彙報租稅、戶口及治安情況。以下是秦代初期三十六郡的資枓：

據劉宋裴駰《史記集解》記載，秦初三十六郡分別是：

關中巴蜀地區：內史、上郡、隴西郡、北地郡、雲中郡、九原郡、漢中郡、巴郡、蜀郡

河南地區：三川郡、南陽郡、潁川郡、碭郡、薛郡、東郡、琅邪郡、齊郡

河北地區：上谷郡、漁陽郡、右北平郡、遼西郡、遼東郡、代郡、鉅鹿郡、邯鄲郡、上黨郡、太原郡、雁門郡、河東郡

淮南地區：南郡、九江郡、鄣郡、會稽郡、泗水郡、黔中郡、長沙郡

秦始皇決定在地方治理上採用三級行政區劃制度，構建中央—郡—縣—鄉—亭—裡—什—伍—戶的縱向金字塔式的控制體系，以加強對地方的控制，主要在郡設郡守，郡下設縣，縣設縣令，但秦代的國家行政機構只下設到縣級。縣之下實行“鄉亭制”，設“鄉”，具體辦法是在“鄉”級設“三老”掌教化，“嗇夫”聽訟和徵稅，“遊徼”偵緝盜賊。此外，鄉級以下則利用民間力量來治理，一鄉轄十亭，設亭長；一亭轄十里，設“裡魁”；一里轄百家，五家為伍，十家為什。這種制度為秦朝帶來了巨大的動員能力，即使三百多年前的波斯居魯士大帝建立帝國之時，阿契美尼德王朝唯有省和縣作為行政區劃機構。

除此之外，歷來盤踞在淮河流域的淮夷、泗夷早已變為民戶，而秦始皇統一天下後，在今福建省一帶地方設定閩中郡。由於秦始皇認為閩中郡遠離中原，是“荒服之國”，地處偏遠，山高路險，而且越人強悍，難以統治，故實際上並未派遣官吏往閩中，只是廢去當地酋長無諸及騶搖的王號，改稱他們為“君長”，並讓其繼續統治該地。

郡縣制在全國推行後，標誌著六國故地不會再有擁兵割據，自選官吏，財政獨立的諸侯。此外，百姓的籍貫不再用以前所屬的諸侯國，例如楚華人、齊華人等作為識別，而是用其所處的郡名以諮識別。

不過自秦滅漢興後，漢高祖劉邦認為秦王室推行郡縣制後，因缺乏宗室屏藩，過於孤立而亡；又害怕諸侯王太強盛，造成皇室的衰弱，於是推行郡國並行制，施行郡縣制，但也封劉氏宗室子弟在各大要地為王，作為折衷。劉邦的作為，導致日後的吳楚七國之亂。因此歷代統治者都試圖在郡縣制至分封制之間，取得一定的平衡，以維持國祚。

春秋時代，世卿世祿制被官僚製取代，地方組織也逐漸由采邑制轉為郡縣制。郡、縣的出現，與春秋時的政治形勢的發展有密切的關係。

其為中央集權制的產物。此之前的分封制，爭權奪利，戰亂不斷，民不聊生。秦的統一才結束了長年的狼煙四起的混亂局面。

戰國時期，其實就已經開始出現郡縣制。主要是在各國邊境的交戰地帶。雖然當時的主流是分封制，但因為交戰地帶要加強控制，便於軍事行動，再說分封給誰，人家也不要。所以，這些地方就變成了國王直轄的郡縣，最早的長官名稱叫做“縣守”、“郡守”。

秦始皇統一六國，不願重蹈周天子分封天下、大權旁落的覆轍，就把郡縣制推廣了。普天之下，分成36個郡（後增至40多個郡），郡下設縣，長官均由朝廷委派，不再分封，也不再有世襲。

漢高祖劉邦登基後，一度又恢復了分封制，最終導致了後代的“七王之亂”（項羽也曾封王）。漢武帝施行“推恩令”，把封國越搞越小（不再是長子繼承，而是所有兒子平分封國），基本解決了諸侯王問題。東漢以後，守分封的王侯只有享受封地錢糧（封邑）的權利，但對封地的軍政都無權干涉了。

郡縣制可以說是中國傳統文化、傳統制度最基礎的架構，對強化中國封建社會的中央集權有很大幫助（不同於西歐的城邦制）。

秦統一後郡縣制遂遍行於全國﹐司馬遷說秦始皇分天下為三十六郡﹐《晉書》以為統一後又有所增設﹐可達四十郡之多﹐王國維等又以為有四十幾郡（見秦朝行政區劃）。究竟多少郡﹐尚難確定。郡以下的一級行政機構是縣或道。內地均設縣，只有邊地少數民族才設道。道和縣是平行的，道、縣均是郡下一級的行政組織，其官制大約也略同。西漢時不斷增立新郡（見西漢行政區劃）﹐據平帝元始年間的記載﹐全國共有一百零三郡國(見西漢郡國)﹐到東漢時（見東漢行政區劃），據東漢順帝時的記載﹐全國當時共有一百零五郡國(見東漢郡國)。國指諸侯王國﹐武帝以後﹐國的地位相當於郡。秦在京師地區設內史以統縣﹐西漢初因之。武帝時乃份內史之地為京兆﹑左馮翊﹑右扶風﹐或稱為“三輔”﹐實則為三郡。東漢在都城所在的洛陽地區設河南尹﹐也相當於一個郡太守。一郡所統之縣﹐多少不等﹐一般約為二十縣上下﹐屬縣最多之郡當推西漢的琅邪郡﹐有屬縣五十一﹔最少者為玄菟郡﹐僅轄三縣。一郡總人口數以二十萬左右者居多﹐多者也可逾百萬。兩漢百萬人口以上的郡有十幾個﹐其中最多者為西漢的汝南郡﹐達二百五十九萬人﹔少者不過幾萬﹐甚至象東漢時的朔方郡﹐僅七千多人。

漢代一縣﹐其面積大約為方百里。人口稠密之地﹐不足方百里者也可成縣﹔而人口稀少之地﹐一縣或遠超過方百里。漢代列侯所食之縣曰侯國﹐皇后﹑公主所食之縣曰邑﹐有少數族居住之縣曰道。據西漢平帝時的統計﹐當時全國縣﹑邑﹑道﹑侯國﹐總數為一千五百八十七﹔東漢順帝時的記載﹐總數為一千一百八十。縣之下置有鄉﹑亭﹑裡。平帝時全國共有六千六百二十二鄉﹐二萬九千六百三十五亭。由此推測﹐每縣下面大約有九鄉和十幾亭。裡是民戶聚集之處﹐猶如後世之村落。從長沙馬王堆漢墓出土的地圖來看﹐西漢初﹐一里的戶數多少不等﹐多者百餘戶或幾十戶﹐少者才十幾戶﹐有的史書以為漢代一里百家﹐恐不會如此整齊。郡縣之長官秦郡一級的最高長官是郡守。郡守之下設丞，輔佐郡守管理郡中的行政及刑獄工作，郡的軍事和治安則由郡尉負責。郡尉不干預民事，與郡守的職責有明確分工。統一後，在郡一級增置了監察史，負責監督百姓及官吏，職務類似於中央的御史大夫，也有牽制郡守的作用。

秦制滿萬戶以上的縣設縣令，不滿萬戶的縣設縣長，是為一縣之首。縣令下設丞、尉。縣尉負責一縣的軍事和治安。 由於秦王朝政權具有軍事專制的特點，所以縣尉的任務特別繁重，舉凡一切軍事、治安、徵發徭役、管理士卒等事，均要由縣尉主持完成，稍有差錯就要受到嚴厲制裁。由於縣尉任務繁重，所以每一個縣的縣尉不止一人，可能有二至四個縣尉。

商鞅變法時，廢分封，行縣制。秦統一後，秦始皇採納李斯的建議，決定在全國範圍廢除分封制，以郡縣制作為中央控制地方的制度。

郡，是中央政府以下最高一級地方行政機構。秦始皇統一六國後，國土空前廣袤，分天下為三十六郡。“郡”設郡守、郡尉、監御史等職官，分掌行政、兵事、監察職責。郡守是郡的最高行政長官，對上承受中央命令，對下督責所屬各縣。設置於少數民族聚居地的同級地方行政機構成為“道”。縣級一下有“鄉”、“裡”兩級地方基層行政機構。此外，還有負責地方治安併兼管公文傳遞的“亭”。

縣，是郡的下級行政機構。縣的長官稱縣令,由朝廷任命，主要任務是治理民眾，管理政財、司法、獄訟和兵役。郡守透過每年的考核和平時的檢查，對縣令的工作進行考察。

秦朝這套從中央到地方的統治機構，管制有明確的職責分工，既相互配合，又彼此牽制，統治機構的最高統治權掌握在皇帝一人手中，確保了封建地主專制統治。這套金字塔般統治機構的建立，標誌著封建專制主義中央集權制度進一步強化。

郡縣制與西周分封制相比較，最主要的差別在於形成了中央垂直管理地方的形式。西漢王朝繼續推行郡縣制。漢初曾分封諸侯王而形成“郡”、“國”並存的局面，後逐步消除與中央抗衡的地方割據勢力，使“大一統”政體更為鞏固。

所謂郡縣制，就是地方行政的一種劃分方式，皇帝在全國各地設立郡，郡下面設立縣，縣長官對郡長官負責，郡長官對上面更高甚至是皇帝負責，這樣的好處便是皇帝可以透過直接委任官員來達到加強中央集權的目的。

郡縣制的產生，其實就是地方與中央權利鬥爭的產物。

商代已開始分封諸侯，稱號有侯和伯。西周滅商後，因其國都遠在西北，不利於控制幅員遼闊的疆土和統治商代後裔，便大規模地以封地連同居民分賞王室子弟和功臣，諸侯在其封國內享有世襲統治權，也有服從天子命令、定期朝貢、提供軍賦和力役、維護周室安全的責任。

但是隨著社會生產力的不斷進步，有的地處富庶之地的諸侯們更有錢了，手底下人也多了，難免有人也想嘗一把皇帝的癮，不想聽皇帝的命令。

這種情況愈演愈烈，最終演變成春秋戰國這種幾百年的亂世。

郡縣制恰恰就可以瓜分掉分封諸侯的地盤與權利，郡縣長官由皇帝直接或者間接任命，官員會有工作調動，避免長期耕耘一地成為土霸主，最終這些權利迴歸到皇帝一人手中，郡縣制可以有力加強中央集權。