北府是東晉孝武帝初年謝玄組建訓練的軍隊。太元二年，朝廷因前秦強大，詔求文武良將鎮御北方。朝廷拜謝玄建武將軍、兗州刺史，領廣陵相、監江北諸軍事，鎮廣陵，召募勁勇，徐（治京口）、兗（治廣陵）人民紛紛應募入伍。謝玄以劉牢之爲參軍，常領精銳爲前鋒，戰無不捷。太元四年，謝玄加領徐州刺史，鎮京口。東晉稱京口爲“北府”，所以稱這支軍隊爲北府兵。
