《漢書·百官公卿表》載：

太尉，秦官，金印紫綬，掌武事。武帝建元二年省。元狩四年初置大司馬，以冠將軍之號。宣帝地節三年置大司馬，不冠將軍，亦無印綬官屬。成帝綏和元年賜大司馬金印紫綬，置官屬，祿比丞相，去將軍。哀帝建平二年復去大司馬印綬、官屬，冠將軍如故。元壽二年復賜大司馬印綬，置官屬，去將軍，位在司徒上。有長史，秩千石。

《續漢書·百官志》記載：

　太尉，公一人。原注云：掌四方兵事功課，歲盡即奏其殿最而行賞罰。凡郊祀之事，掌亞獻；大喪則告諡南郊。凡國有大造大疑，則與司徒、司空通而論之。國有過事，則與二公通諫爭之。世祖即位，為大司馬。建武二十七年，改為太尉。

所以可以看到，太尉和大司馬，就是同一職官在不同時代的不同名稱。一開始叫太尉，後來漢武帝時改成大司馬。漢光武帝時又改稱太尉。當然，不同的時代，這個官職的實際權力和職能也發生著變化，逐漸由掌握全國軍事大權的要員轉變為空有名號而無實權的加官。（漢武帝改太尉為大司馬）

太尉這一職設在秦代既已有之。主要執掌軍政。事實上，秦代所有掌管軍事的職官，一般都用“尉”，因為尉的含義本來就是“有法度”的意思。掌握各郡統兵權力的叫郡尉，掌握各縣統兵權力的叫縣尉，等等。太尉則掌握全國的軍政大權。

西漢繼承秦制，也置太尉，但是和秦一樣，西漢的太尉時置時廢，主要是為了防止其職權過重，有時候乾脆就讓丞相兼任。

武帝后改太尉為大司馬，對這種情況也並無多少改變，反而讓這一官職更徒有虛名而已。到了東漢，光武帝重新置太尉，太尉的職權才又復有所加強。

這是漢代的官制問題。

在西漢初，延用了秦代的官職，皇帝位最高行政長官，高度集中的政治體制。皇帝之下設三公九卿，三公分別為太尉、丞相和御使大夫。丞相統領九卿。

至漢武帝，丞相權位太重，威協了皇權，皇帝很不放心。為了削弱丞相的勢力，重新調整漢朝官制。皇帝取消丞相的官職，設大司徒、大司馬、大司空，分別管轄九卿，一人管三個。之前的御史大夫主要負責監察，改成大司空之後，負責工程。取消了太尉，改成了大司馬，管軍事。

總之，這三個職位看似高，但是實際政治權利已經轉移到了新出現的尚書檯。並且，這些職位的官員，通常會為很小的錯誤付很大的責任，並不是什麼很好的差事。

實際掌握權力對 新職位一共也有3個，分別是尚書令、御史中丞和司隸校尉。在朝會時，這三個官員有著特別的專坐，因此也稱作為三獨坐。

司隸校尉比價特殊，他即是地方官，兼領一州之事，也是中央官員，可以糾察百官，俗稱“無所不糾，唯不察三公。”