太尉最早始於秦國，是治軍領兵的重臣。

到了北宋時期，實際上沿襲隋唐時期的習慣，三師（太師、太傅、太保）、三公（太尉、司徒、司空）為朝廷官職中相對最高的品級，但是它們都沒有什麼實際職事，一般只是作為加官。或者作為升遷資序所用，並沒什麼執掌的職力。

而其中的太尉，在一開始時是在太保之下，但是從五代以來則不斷提升，直至僅次於太師而在太傅之上，也就是太師、太尉、太傅這樣的新順序。

宋徽宗年間，重定武官制度後，太尉成為武階官之首，而司徒司空則取消被少師、少傅、少保代替。

因為宋朝的太尉是武階官的最高位，所以在官場上，對於許多升到較高官階，但實際並未獲得太尉之職的官員，也會奉承為“太尉”。

宋朝比較出名的太尉實職有高俅、岳飛。

高俅的“殿帥府太尉”，殿帥乃殿前都指揮使的尊稱，如同侍衛馬、步軍都指揮使稱“馬帥”、“步帥”。

“殿帥府”即殿前都指揮使司的俗稱，宋徽宗政和時，規定三衙長官侍衛馬、步軍都指揮使為正五品，而殿前都指揮使為從二品，且資序在節度使之上。所以殿帥府太尉是對高俅的尊稱。

宋代“太尉”既可指官階，亦可為尊稱，但不是職務。在宋徽宗政和年間重定武官制度後，太尉成為武階官之首，為武官五十二階的最高階，正二品，並非“三公”的太尉，也非實職。而司徒司空則被三少（少師、少傅、少保）所代替。