在漢朝,大司馬是中央政府中專司武職的最高長官的稱呼，類似於現代的武裝部隊總司令，大將軍一直可以算得上古代領兵統帥的最高軍事指揮，也是所謂的最高軍事統帥。大將軍只是一個封號，實質權力其實沒有大司馬大。

漢武帝罷太尉置大司馬。 西漢一朝，常以授掌權的外戚，多與大將軍、驃騎將軍、車騎將軍等聯稱，也有不兼將軍號的。 東漢初為三公之一，旋改太尉，東漢末年又別置大司馬，位在三公之上。

“司”是掌管的意思，“司馬”這個官職，從字面意思理解就是掌管軍馬的官。在古代，馬在軍隊中的地位十分重要，司馬也是個高官。

“大司馬”這個官職，是漢武帝首次設立的，他的小舅子衛青是第一任。

在這個官職上比較突出的有四人，從衛青到霍光，再到王鳳，再到王莽，大司馬的權力與地位不斷膨脹，逐漸達到了可以對抗皇帝的地步。西漢最後一任大司馬王莽，最終篡奪了皇位，西漢因此滅亡。

縱觀西漢後半段的歷史，可謂是“成也大司馬，敗也大司馬”。

第一個設大司馬的皇帝是漢武帝。大司馬，掌邦政。漢承秦制，置丞相，御史大夫，太尉。 漢武帝罷太尉置大司馬。

西漢一朝，常以授掌權的外戚，多與大將軍、驃騎將軍、車騎將軍等聯稱，也有不兼將軍號的。 東漢初為三公之一，旋改太尉，東漢末年又別置大司馬，位在三公之上。 魏晉為上公之一，位在三公之上，第一品。 南北朝或置或不置，北朝魏、齊的大司馬與大將軍併為“二大”，典武事，亦在三公之上。陳但為贈官。明清用作兵部尚書的別稱。