“太尉”之名最早見於《呂氏春秋》，太尉設定始於秦朝時期。很多人知道太尉這個官稱是從水滸中，裡面太尉出現的次數比較多，而且反派之一的高俅號稱高太尉。

秦始皇設三公九卿，三公即為丞相、御史大夫、太尉，分別為輔政，監察、治軍領兵。但秦朝為中央集權制，並沒有人擔任過太尉，形同虛設。

此後太尉一職的設定和軍事關係比較密切。太尉舊在太保之下，自五代以來則提升至次於太師而在太傅之上。

宋初三師三公（太師、太傅、太保為三師，太尉、司徒、司空為三公）只是作為升遷資序所用，並無執掌。也通常以“太尉”來尊稱樞密院文長官，因為宋代就以文臣制軍。而且太尉也多是下級軍官對高階武官的尊稱。

小說《水滸傳》中太尉的稱謂比較多。比如高太尉、宿太尉之類未必就是太尉階，即實任太尉。

比如高俅的“殿帥府太尉”，殿帥乃殿前都指揮使的尊稱，如同侍衛馬、步軍都指揮使稱“馬帥”、“步帥”。

“殿帥府”即殿前都指揮使司的俗稱，宋徽宗政和時，規定三衙長官侍衛馬、步軍都指揮使為正五品，而殿前都指揮使為從二品，且資序在節度使之上。所以殿帥府太尉是對高俅的尊稱。

總之，宋代“太尉”既可指官階，亦可為尊稱，但不是職務。

在宋徽宗政和年間重定武官制度後，太尉成為武階官之首，為武官五十二階的最高階，正二品，並非“三公”的太尉（三師為三公），也非實職。而司徒司空則被三少（少師、少傅、少保）所代替。

宋時其他武官，比如岳飛也曾被稱為太尉。