由於唐代前期實行府兵制度，所以在朝廷設立十六衛。十六衛的名稱，唐代前期變化甚多，到唐玄宗開元時方大體上固定為左右衛、左右驍衛、左右武衛、右左威衛、右左領軍衛、左右金吾衛、左右監門衛和左右千牛衛。其中前十二衛均管轄府兵，只有後四衛不轄府兵，負責京城和宮殿諸門警衛以及皇帝的貼身宿衛。每衛設大將軍一人和將軍二人統率，下有長史、錄事參軍總管各衛日常事務，倉、兵、騎、胄四曹分別負責俸祿、給養、考績、宿衛、馬匹、兵械等具體事務。十六衛直接統屬於皇帝，但他們沒有調兵的權力。需要命將出徵時，一般由皇帝和宰相議定後，頒發詔令到兵部，由兵部再發下符契，與詔令一起同時頒下各折衝府或州郡發兵。除十六衛外，東宮官中還仿照十六衛建制設有十率府，各設率一人，副率一至二人統管，下轄一定數量的府兵，作為太子的禁衛部隊。以上十六衛總稱為南衙諸衛，因其官署均在長安、洛陽兩京宮城之南的皇城內。

唐高宗時，由宮城北門玄武門禁軍發展而來的北衙禁軍開始興起，逐漸取代南衙請衛的職能。南衙諸衛則由於府兵制的廢棄，逐漸成為閒司，其長官大將軍、將軍也變為武官升遷的官階，不再擁有實際職權。

最先設定的北衙禁軍是左右羽林軍，玄宗時設左右龍武軍，肅宗時又設左右神武軍，以上稱為北衙六軍，各設定大將軍一人、將軍三人統率。唐代宗時再以神策軍列入北衙禁軍行列，德宗以宦官任神策軍左右護軍中尉統率，因此神策軍勢力迅速發展，凌駕於北衙六軍之上。唐代後期，北衙六軍的大將軍、將軍等職也逐漸成為武官遷轉的官階，實際並無兵權。