大業十三年，天下起兵反隋的隊伍蜂擁而起，隋煬帝所在的江都被孤立了。晉陽令劉文靜、晉陽宮監裴寂都是李世民的密友。李世民就和晉陽縣令劉文靜密謀造反。 起兵造反的計策確定後，鷹揚府校尉劉武周發動兵變，殺死馬邑太守王仁恭，據馬邑而自稱天子。農曆三月，劉武周攻破樓煩郡，進佔汾陽宮，並與突厥勾結，圖謀南下爭奪天下。煬帝聞訊後大怒，要提李淵到江都治罪。裴寂、許世緒、武士眜等也紛紛勸李淵起兵，李淵終於下定了反隋的決心。於是，李淵藉口防備劉武周和突厥南下，派李世民、劉文靜、長孫順德、劉弘基等人到各地募兵，在很短的時間裏便招到數千人。 同年農曆五月，隋恭帝被迫禪位於李淵，李淵即皇帝位於長安，國號唐，建元武德，定都長安，是爲唐高祖。李淵以李世民爲尚書令。
