丞相制度的建立，可以追溯到秦國初一統天下的時候。

秦國以前，西周實行的是分封制，周天子分封宗親，天子與諸侯國之間沒有隸屬關係，雖有卿大夫協助處理政事，但家族事務主要由家臣負責處理，因此家臣制度算得上是最早的行政權力制度的萌芽。

及至春秋戰國時期，中央集權開始形成，各諸侯國其實已普遍設立相職，建立起各自的宰相制度。一批賢相名宰應運而生，活躍在周秦之際社會劇變的歷史舞臺上。到秦始皇統一天下時，完整成熟的宰相制度便水到渠成，正式創立，確立了宰相“掌丞天子，助理萬機”的職能，使之成為正式官制，成為後世沿襲相承的定製。

漢初至武帝時期，丞相制度發展至鼎盛時期，相權日益加強，丞相漸漸成為“一人之下，萬人之上”的權臣。而蕭何、曹參等一批名相出現，在西漢的政治舞臺上也發揮著重要作用；而在漢武帝之後，就開始加強了皇權，抑制了相權。魏晉至宋時期，皇權開始不斷集中，相權不斷被分割；及至唐朝，三省六部開始替代了丞相的位置；到了北宋時期延續唐末的制度後，又增設“參知政事”明為副丞相，實則與丞相幾無差別，相權更加分散。

而到了元朝，丞相制度已經開始進入衰亡，以中書省取代了尚書省。在這樣的背景下，明朝開國皇帝明太祖朱元璋於洪武十三年，以擅權撓政的罪名，殺了中書省丞相胡惟庸，並宣佈廢除丞相制度，將相權分於六部，六部直屬皇帝。

此前，明朝已有兩任丞相，分別為李善長和徐達。雖然他們謹言慎行，但是，由於丞相負責大量政務的處理，日益增長的相權還是讓朱元璋感到了深深的不安！因此，當有人舉報新任丞相胡惟庸時，正中朱元璋下懷。他不僅不遺餘力的將大量開國功臣牽連入胡惟庸案進行剷除，還剛好藉此廢除中書省，撤掉一直是他心頭之患的丞相一職。從此，政務全由皇帝負責，君主集權得到了進一步的加強！

自從秦朝設立宰相制度以來，君權與相權的矛盾始終存在著。

沒有任何一個帝王希望自己大權旁落，而位極人臣的宰相則是對皇權威脅最大的，幾乎所有的皇帝都在削弱相權，直至明朝，朱元璋徹底廢除了丞相制度。

明朝建立之時沿用了元朝的制度，丞相具有統率百官、輔佐君王處理國家政務的權利。

朱元璋在位之後對於丞相制度非常不滿，鑑於元朝丞相權勢過重，以致皇權不穩，因此時常讚歎周天子“總六官，六官總執事”的制度。

洪武六年，朱元璋設六科給事中，削弱中書省的權利；洪武十年，設立通政司，剝奪宰相處理奏章的權利；洪武十三年，廢除丞相制度。

胡惟庸是明朝的開國元勳，洪武六年擔任右丞相，其在位期間結黨營私，擅權枉法，打擊異己勢力。

根據史書記載，胡惟庸迫使平涼侯費聚和吉安侯陸仲亨與其一起策劃謀反，還勾結北元朝廷，請他們在舉事的時候裡應外合。

在胡惟庸之前，明朝的兩位丞相李善長和徐達為人處事謹小慎微，朱元璋想要發作卻沒有藉口。

而在洪武十三年，胡惟庸謀反之事被人告發，此事正好給了朱元璋一個突破口，趁機徹底廢除丞相制度，裁撤中書省，同時還株連了一大批功臣武將，消除隱患。

在廢除丞相制度以後，朱元璋獨攬大權，六部直接向皇帝負責，君主權利達到頂峰，有助於鞏固政權。

同時，丞相的存在對於皇帝的決策有著制約作用，廢除之後皇帝個人裁決難免偏頗，還會加重皇帝的負擔。

根據史書記載，朱元璋一天要處理的奏章多達150件，以至於後來不得不設立殿閣大學士，後來又形成內閣，宦官干政，這又為明朝的統治埋下一個隱患。