太尉始於秦朝時期，秦王嬴政登基後，改設三公九卿。三公即爲丞相、御史大夫、太尉，分別爲輔政，監察及治軍領兵。但秦朝並沒有人擔任太尉，原因在於秦當時爲中央集權制，軍政經合爲始皇帝一體，所以若將兵權拱手送於他人之手，秦王政的統治會受到嚴重威脅。
到西漢時期中央和地方各級官吏的名稱基本沿用了秦朝的制度。外朝官爲西漢中央政府的最高行政權力由丞相、太尉、御史大夫三人分掌，其下分設九卿、列卿等。但由於官制名目甚多也有一定的分權目的，所以太尉的實權性時時不定。
按《漢書·百官公卿表》：“太尉，秦官，金印紫綬，掌武事。”是漢朝的最高武職，不常置。不設置太尉時，則以太尉職歸丞相。相當於今天的軍委主席。
