霍去病初次征戰，年方18，即率領800驍騎深入敵境數百里，把匈奴兵殺得四散逃竄，在這次戰鬥殺死了匈奴2028人，並且俘虜了單于的叔父羅姑比，斬殺了單于的祖父若侯產。霍去病因此開始展露鋒芒，獲得授予驃姚校尉，又以“勇冠三軍”之意而受封予冠軍侯。前121年，漢武帝任命霍去病爲驃騎將軍，發動了兩次對匈奴的河西戰役，大勝而回。霍去病率1萬驃騎，6天中轉戰西域5國，越過了焉支山1000多裏後重創匈奴，殲敵近9000人，俘獲匈奴祭天金人。霍去病曾孤軍深入敵後，到達祁連山，殺敵30000餘，讓匈奴的實力受到一次極大的打擊。《西河舊事》記載當時的匈奴人唱道：“失我祁連山，使我六畜不蕃息，失我焉支山，使我婦女無顏色”。兩次河西戰役之後，漢朝完全控制了河西地區。後來他還出色地平息了匈奴降軍的騷亂，匈奴從此退到了漠北一帶。
