“千牛衛”始於唐代，正式名稱爲“左右千牛衛”。在唐代，“左右千牛衛”是大唐南衙“十六衛”中的兩“衛”，不領府兵，專責“掌執御刀宿衛侍從”，是皇帝內圍貼身衛兵。晚唐以後，隨着“府兵制”的瓦解、“南衙十六衛”的衰敗，“左右千牛衛”也逐漸變得徒有虛名，變成了虛銜的一部分。五代、宋、遼、金，皆是如此。
最初“千牛備身”出現的時候，似乎並沒有一個專門的機構來統領這些武官。後來，北魏孝明帝中期出了“領左右”，很可能就統領着“千牛備身”。再往後，歷朝歷代統領“千牛備身”的機構名稱不斷變化，在唐高宗顯慶五年（公元660年）稱“左右千牛府”，到了唐中宗神龍元年（公元705年），改爲“左右千牛衛”。
