唐永泰年間，以宦官任樞密使，幫皇帝處理機要。五代後梁改樞密使為崇政使，由士人充任，並設崇政院。後唐又改崇政院為樞密院，崇政使為樞密使，與宰相分執朝政，宰相掌文，樞密使掌武。

宋代沿設樞密院並進一步完善，與中書省合稱“兩府”，併為宋代最高政務機關。慶曆年間因對西夏用兵，宰相一度兼任樞密使。南宋寧宗後，宰相始例兼樞密使。遼曾分別設南、北樞密院，北院掌管軍事，南院掌管官吏升降，分別相當於兵部和吏部。元代，樞密院為軍政樞紐，並掌管禁衛軍以及邊防事務。戰時，則在作戰區域設行樞密院作為樞密院派出機構總領軍政。明代，樞密院廢置，其職權由大都督府代替。

總體而言，樞密院與尚書、中書、門下三省的演變過程類似，先是作為內廷性質，後成為正式的政府中樞機關，與宰相分權，是皇權侵蝕相權的產物。