魏晉南北朝時期，逐步形成三省體制，唐朝三省分工明確，中書省掌決策，門下省掌審議，尚書省負責執行政令，三省相互牽制監督，削弱相權，加強皇權。

三國曹操自任丞相，移原隸少府的尚書吏部曹、選部曹等尚書諸曹為丞相屬官，將漢武帝建立的內朝轉為外朝官署，這是尚書省建立的開端。按：東漢時雖有尚書檯、已經成為處理政務的主要機關，但畢竟是隸屬於內廷的官署，不能說是國家的正式政務機關。曹丕以尚書諸曹權力過大，遂以曹操設立的專門處理機密文書的秘書省為基礎另設中書省，掌管機要，起草和釋出詔令。置中書監、令各一人，以中書監為長官。南北朝時侍中、散騎常侍的權力逐漸擴大。北朝則政出門下，成為中央政治機構的重心。晉代，正式有門下省的建制。

唐代三省制的特點是在建立不久就向二省、一省轉變。這種變化的動因在於皇權對於相權的控制、以及提高行政效率。首先、為了控制相權，皇帝逐漸使用一些資歷較輕的官員參預朝政，實際行使宰相的權力，但是由於沒有宰相崇高的體制，所以便於控制。漸漸的，中書令、侍中、尚書令以及左右僕射這些宰相職務已經變成了一個崇高的虛銜，而真正的宰相卻成為一種臨時性質的職務，這符合從漢代開始的相權不斷下降的規律。唐代以三省首長“品位既崇，不欲輕以授人，故常以他官居宰相職，而假以他名。