义宁元年（公元617年）
六月己卯日，李建成等人抵达晋阳。
刘文静劝李渊与突厥结盟，借助其兵马增强兵力威势，李渊采纳了这个建议。他亲自写信，言辞谦卑、礼物丰厚，送给始毕可汗，信中说：“我打算发动义兵，远迎皇上返回京城，重新与突厥和亲，就像开皇年间那样。如果可汗能和我一起南下，希望不要侵扰百姓；如果只想和亲，坐收财物，也随可汗选择。”始毕可汗收到信后，对大臣们说：“隋炀帝的为人我清楚，要是把他迎回来，他肯定会害唐公，再攻打我们。要是唐公自己当皇帝，我就算冒着酷暑，也会派兵帮他。”当即下令按这个意思回信。使者七天后返回，李渊的部将僚属都很高兴，请求按突厥的建议办，李渊却不同意。裴寂、刘文静等人说：“现在义兵虽已集结，但战马非常缺乏，突厥的士兵我们不一定需要，可战马不能错过；要是再拖延，恐怕突厥会反悔。”李渊说：“你们再想想别的办法。”裴寂等人于是建议尊隋炀帝为太上皇，立代王杨侑为皇帝，以此安抚隋朝宗室；向各郡县发布檄文；更换旗帜，用红、白两色掺杂，向突厥示意（突厥旗为白色，隋朝旗为红色，杂用两色表结盟）。李渊说：“这可称得上是‘掩耳盗铃’，但迫于当前形势，不得不这么做。”于是同意，派使者把这个提议告诉突厥。
西河郡不听从李渊的命令，甲申日，李渊派李建成、李世民领兵进攻西河；命太原令太原人温大有与他们同行，说：“我儿子年轻，派你协助参谋军事，这次行动的成败，就能判断我们今后的前景了。”当时士兵刚招募来，都没经过训练，李建成、李世民与士兵同甘共苦，遇到敌人就身先士卒。附近的蔬菜瓜果，不买就不吃，士兵有私自采摘的，就找到主人赔偿，也不追究采摘者，士兵和百姓都感动喜悦。抵达西河城下，有百姓想进城的，都允许他们进入。郡丞高德儒关闭城门抵抗，己丑日，唐军攻克西河。把高德儒押到军营门口，李世民责备他说：“你把野鸟说成鸾鸟，欺骗皇上，骗取高官，我发动义兵，正是为了诛杀你这种奸臣！”于是将他斩首。其余人一个不杀，丝毫不侵犯百姓，分别安抚让他们恢复本业，远近的人听说后都非常高兴。李建成等人领兵返回晋阳，往返共九天。李渊高兴地说：“凭这样的军队，就算横扫天下也没问题。”于是定下入关的计划。
李渊打开粮仓赈济贫民，前来应募的人越来越多。他下令将军队分为三军，分左、右两路，统称“义士”。裴寂等人给李渊上尊号为“大将军”，癸巳日，设立大将军府；任命裴寂为长史，刘文静为司马，唐俭及前长安尉温大雅为记室，温大雅还和弟弟温大有共同掌管机密，武士彟为铠曹，刘政会及武城人崔善为、太原人张道源为户曹，晋阳长上邽人姜謩为司功参军，太谷长殷开山为府掾，长孙顺德、刘弘基、窦琮及鹰扬郎将高平人王长谐、天水人姜宝谊、阳屯为左、右统军；其余文武官员，都按才能授予官职。又任命世子李建成为陇西公、左领军大都督，左三统军归他统领；李世民为敦煌公、右领军大都督，右三统军归他统领，两人各自设置官属。任命柴绍为右领军府长史；咨议谯人刘赡兼任西河通守。张道源名河，殷开山名峤，人们都习惯称他们的字。殷开山是殷不害的孙子。
李密再次率领部众向东都进军，丙申日，双方在平乐园大战。李密布下左路骑兵、右路步兵、中路强弩的阵势，敲响上千面战鼓冲锋，东都军队大败，李密重新夺回回洛仓。
突厥派柱国康鞘利等人送来一千匹马，与李渊贸易，还答应派兵送李渊入关，兵力多少随李渊定。丁酉日，李渊接见康鞘利等人，接受可汗的书信，礼仪态度极为恭敬，赠送康鞘利等人的礼物也很丰厚。李渊挑选其中好的马匹，只买了一半；义士们请求用私人钱财买下剩下的，李渊说：“突厥有很多马，又贪图利益，他们会不断来卖，恐怕你们买不完。我之所以少买，是故意显示我们贫穷，而且不把买马看得太急，我会为你们赊账，不用你们花钱。”乙巳日，灵寿贼寇首领郗士陵率领几千部众投降李渊，李渊任命他为镇东将军、燕郡公，还设置镇东府，补充官属，让他招抚山东郡县。己巳日，康鞘利返回北方。李渊派刘文静出使突厥请求援兵，私下对刘文静说：“胡人的骑兵进入中原，会成为百姓的大祸害。我之所以想借他们的兵，是怕刘武周勾结他们一起制造边境祸患；另外，胡人的马适合放牧，不用消耗粮草，暂且借他们的声势罢了。除了几百人之外，再多也没用。”
秋季七月，隋炀帝派江都通守王世充率领江淮精锐士兵，将军王隆率领邛黄蛮部落，河北大使太常少卿韦霁、河南大使虎牙郎将王辩等人，各自率领所部兵马共同赶赴东都，联合讨伐李密。韦霁是韦世康的儿子。
壬子日，李渊任命儿子李元吉为太原太守，留守晋阳宫，后方事务都交给了他。癸丑日，李渊率领三万士兵从晋阳出发，在军门誓师，同时向各郡县发布檄文，说明尊立代王杨侑的意图；西突厥阿史那大奈也率领部众跟随李渊。甲寅日，李渊派通议大夫张纶领兵招抚稽胡部落。丙辰日，李渊抵达西河，慰问官吏百姓，赈济贫困人家；年龄在七十岁以上的百姓，都授予散官头衔，其余豪杰之士，按才能授予官职，李渊口头询问他们的能力，亲手写下他们的官阶，一天之内就任命了一千多人；接受官职的人都不拿任命文书，各自记下李渊写的官名就离开。李渊进入雀鼠谷；壬戌日，军队驻扎在贾胡堡，距离霍邑五十多里。代王杨侑派虎牙郎将宋老生率领两万精锐士兵驻守霍邑，左武候大将军屈突通率领几万骁果士兵驻守河东，抵御李渊。恰逢连续下雨，李渊无法前进，派府佐沈叔安等人率领老弱士兵返回太原，再运送一个月的粮草。乙丑日，张纶攻克离石，杀死太守杨子崇。
刘文静抵达突厥，拜见始毕可汗，请求援兵，还和他约定：“要是攻入长安，百姓和土地归唐公，金银财宝和丝绸归突厥。”始毕可汗非常高兴，丙寅日，派大臣级失特勒先到李渊军中，告知突厥援兵已上路。
李渊写信招降李密。李密自恃兵力强盛，想当盟主，己巳日，派祖君彦回信说：“我和兄长虽然出身不同，但同属李氏宗族。我自认为能力浅薄，却被天下英雄推举为盟主。希望能与兄长互相扶持、同心协力，像在咸阳擒获子婴、在牧野诛杀商纣王那样推翻隋朝，难道不是壮举吗！”还想让李渊率领几千步兵骑兵亲自到河内，当面结盟。李渊收到信后笑着说：“李密狂妄自大，不是一封书信就能招过来的。我现在正忙着平定关中，要是立刻和他断绝关系，就等于又多了一个敌人；不如用谦卑的言辞推崇他，让他骄傲自满，替我守住成皋的要道，牵制东都的军队，我就能专心西征。等关中平定后，占据险要地势养精蓄锐，再观察李密和隋朝争斗的形势，坐收渔翁之利，也不算晚。”于是派温大雅回信说：“我虽然平庸无能，但有幸继承祖上基业，在外担任八使，在内掌管六军，君主陷入困境却不扶持，是有贤德的人都指责的事。所以我发动义兵，与北方突厥和亲，共同匡扶天下，志向是尊奉隋朝。上天养育百姓，必定有君主来治理。现在能治理天下的，除了您还有谁！我已年过五十，不想争夺天下。很高兴拥戴您，愿攀附您成就大业，只希望您早日应验谶语，安定百姓！在宗族盟会中担任首领，能被宗族名册收录，再被封在唐地，这样的荣耀就足够了。像在牧野诛杀商纣王那样的事，我不忍心说；像在咸阳擒获子婴那样的事，我也不敢听从您的安排。汾水、晋地一带，还需要安抚；盟津会盟，暂时没时间确定日期。”李密收到信后非常高兴，拿给部将僚属看，说：“唐公推举我，平定天下就没问题了！”从此双方信使往来不断。
雨下了很久不停，李渊军中粮草匮乏；刘文静还没返回，有人传言突厥与刘武周会趁虚袭击晋阳；李渊召集部将僚属商议返回北方。裴寂等人都说：“宋老生、屈突通联合兵力占据险要，不容易很快攻克。李密虽然说要联合，但其阴谋难以预料。突厥贪婪无信，只看重利益。刘武周是依附胡人的人。太原是一方重镇，而且义兵家属都在那里，不如返回救援根本之地，以后再谋划起兵。”李世民说：“现在田野里到处都是庄稼，还担心缺粮吗！宋老生轻率急躁，一战就能擒获他。李密贪图粮仓的粮食，没时间考虑长远计划。刘武周与突厥表面上依附，内心其实互相猜忌。刘武周虽然想夺取太原的利益，怎会忘记近在眼前的马邑！我们本来是为了大义起兵，奋不顾身拯救百姓，应当先攻入咸阳，号令天下。现在遇到小股敌人，就立刻撤军，恐怕跟随我们起义的人会一下子溃散，我们退回太原守着一座城，就成了贼寇，怎么能自保！”李建成也同意李世民的看法。李渊不听，催促军队出发。李世民还想进去劝谏，恰逢天色已晚，李渊已经睡下；李世民进不去，就在帐外放声大哭，哭声传到帐内。李渊召见他，问他原因，李世民说：“现在军队因大义起兵，进攻就能取胜，撤退就会溃散；士兵在前面溃散，敌人在后面追击，我们很快就会灭亡，怎能不悲伤！”李渊这才醒悟，说：“军队已经出发了，怎么办？”李世民说：“右军严阵以待还没出发；左军虽然走了，估计还没走远，我请求亲自去追回他们。”李渊笑着说：“我的成败都在于你，我还有什么可说的，就按你说的办。”李世民于是和李建成分头连夜追赶，把左军追了回来。丙子日，太原运送的粮草也到了。
武威鹰扬府司马李轨，家境富裕，喜欢行侠仗义。薛举在金城作乱，李轨与同郡人曹珍、关谨、梁硕、李赟、安修仁等人商议说：“薛举肯定会来侵犯，郡里的官员平庸怯懦，肯定抵挡不住，我们怎能束手就擒，连妻子儿女都被他俘虏呢！不如一起合力抵抗，占据河西等待天下变化。”众人都同意，想推举一个人当首领，互相推让，没人愿意担任。曹珍说：“早就听说谶语说李氏会当王；现在李轨也在我们谋划的人中，这是天命啊。”于是众人一起拜见李轨，拥戴他为首领。丙辰日，李轨让安修仁召集各胡人部落，自己结交民间豪杰，共同起兵，抓获虎贲郎将谢统师、郡丞韦士政。李轨自称河西大凉王，设置官属，全部仿照开皇年间的制度。关谨等人想把隋朝官员全部杀死，瓜分他们的家产，李轨说：“大家既然拥戴我当首领，就该听从我的号令。现在发动义兵是为了拯救百姓，却杀人夺财，这和盗贼有什么区别，怎么能成就大事！”于是任命谢统师为太仆卿，韦士政为太府卿。西突厥阙达度设占据会宁川，自称阙可汗，请求向李轨投降。
薛举自称秦帝，立妻子鞠氏为皇后，儿子薛仁果为皇太子。他派薛仁果领兵包围天水，攻克后，薛举从金城迁都到天水。薛仁果力气大，擅长骑马射箭，军中号称“万人敌”；但他生性贪婪又喜欢杀人。他曾抓获庾信的儿子庾立，因庾立不肯投降而发怒，把他绑在火上烤，还一片片割下来给士兵吃。攻克天水后，他把富人都召来，倒吊起来，用醋灌他们的鼻子，逼迫他们交出金银财宝。薛举常常告诫他说：“你的才能谋略足够办事，但过于苛刻暴虐、没有恩德，最终会毁掉我的国家。”
薛举派晋王薛仁越领兵赶赴剑口，抵达河池郡；太守萧瑀抵御，击退了他。薛举又派部将常仲兴渡过黄河进攻李轨，与李轨的部将李赟在昌松交战，常仲兴全军覆没。李轨想把俘虏都放走，李赟说：“奋力作战抓获的俘虏，又放走他们帮助敌人，有什么用！不如把他们全部活埋。”李轨说：“要是上天保佑我，早晚能擒获他们的首领，这些人最终会归我所有；要是我不能成功，留下他们也没好处！”于是把俘虏放走。不久，李轨进攻张掖、敦煌、西平、枹罕，都攻克了，占据了河西五郡的全部地盘。
隋炀帝下诏命左御卫大将军涿郡留守薛世雄率领三万燕地精锐士兵讨伐李密，命令王世充等将领都受薛世雄指挥，军队所过之处，遇到盗贼可随时剿灭。薛世雄进军到河间，驻扎在七里井，窦建德的部众惶恐不安，全部撤出各城向南逃跑，声称要返回豆子印qk佬廴衔窦建德害怕自己，不再设防，窦建德谋划返回袭击他。窦建德的营地距离薛世雄的营地有一百四十里，他率领二百八十名敢死士兵先行，让其余部众随后出发，和士兵们约定：“夜里到达，就袭击他们的营地；天亮了，就投降。”离薛世雄营地还有一里多路时，天快亮了，窦建德惶恐不安，商议投降；恰逢天降大雾，人与人之间近在咫尺都看不清，窦建德高兴地说：“这是上天在帮助我！”于是率军冲入薛世雄的营地发起进攻，薛世雄的士兵大乱，都翻越营栅逃跑。薛世雄无法制止，只和几十名亲信骑兵逃回涿郡，因羞愧愤怒生病去世。窦建德于是包围了河间。
八月己卯日，雨停了。庚辰日，李渊命令军中晾晒铠甲兵器和行军物资。辛巳日清晨，唐军从霍邑东南的山脚小路向霍邑进军。李渊担心宋老生不出城交战，李建成、李世民说：“宋老生勇猛却无谋略，我们用轻骑兵挑衅，他按理说一定会出战；要是他固守不出，我们就诬陷他与我们暗中勾结。他怕被身边人告发，怎敢不出战！”李渊说：“你们判断得好，宋老生连贾胡堡都不敢主动进攻，我就知道他没什么本事！”李渊率领几百名骑兵先到霍邑城东几里处等待步兵，派李建成、李世民率领几十名骑兵到城下，举着马鞭指挥，做出要包围城池的样子，还辱骂宋老生。宋老生大怒，率领三万士兵从东门、南门分两路出城，李渊派殷开山立刻去召集后续军队。后续军队赶到后，李渊想让士兵先吃饭再作战，李世民说：“时机不能错过。”李渊于是和李建成在城东列阵，李世民在城南列阵。李渊、李建成的军队稍退，李世民与军头临淄人段志玄从南原领兵疾驰而下，冲击宋老生的军阵，绕到他背后，李世民亲手杀死几十人，两把刀都砍出了缺口，鲜血沾满衣袖，他甩掉血继续作战。李渊的军队重新振作，趁机大喊：“已经抓住宋老生了！”宋老生的军队大败，李渊的士兵先冲向城门，城门关闭，宋老生下马跳入壕沟，刘弘基上前将他斩首，战场上尸体绵延好几里。天色已晚，李渊当即下令登城，当时没有攻城器械，将士们徒手攀爬城墙，最终攻克霍邑。
李渊奖赏攻克霍邑的有功人员，军吏怀疑招募的奴仆不能和普通百姓享受同等赏赐，李渊说：“在战场上箭雨石块之下，分不清贵贱；论功行赏时，怎能有等级差别，应当按功劳大小一同授予官职。”壬午日，李渊召见霍邑的官吏百姓，像在西河一样慰问奖赏，挑选年轻壮丁参军；关中士兵想回乡的，都授予五品散官头衔，让他们回去。有人劝谏说官职授予太滥，李渊说：“隋朝就是因为吝啬奖赏，才失去人心，我们怎能学它！况且用官职收拢人心，难道不比用兵强吗！”
丙戌日，李渊进入临汾郡，像在霍邑一样安抚百姓。庚寅日，在鼓山过夜。绛郡通守陈叔达据城抵抗；辛卯日，唐军进攻，攻克绛郡。陈叔达是陈高宗的儿子，有才华学识，李渊以礼相待并任用他。
癸巳日，李渊抵达龙门，刘文静、康鞘利率领五百名突厥士兵、两千匹马赶到。李渊庆幸他们来得晚，对刘文静说：“我向西进军到黄河边，突厥才到，士兵少、马匹多，这都是你执行命令的功劳啊。”
汾阳人薛大鼎劝李渊：“请不要进攻河东，从龙门直接渡过黄河，占据永丰仓，向远近发布檄文，关中就能轻易夺取。”李渊准备采纳这个建议。众将请求先攻打河东，李渊于是任命薛大鼎为大将军府察非掾。
河东县户曹任瑰劝李渊说：“关中豪杰都踮脚等待义兵。我在冯翊待了多年，了解当地豪杰，请让我去劝说他们，他们必定会闻风归附。义兵从梁山渡过黄河，直指韩城，逼近合阳。萧造是文官，必定会望风投降。孙华这类人，都会远道迎接，然后我们大张旗鼓进军，直接占据永丰仓。即使没攻下长安，关中也基本平定了。”李渊很高兴，任命任瑰为银青光禄大夫。
当时关中各路盗贼中，孙华势力最强。丙申日，李渊抵达汾阴，写信招降孙华。己亥日，李渊进军壶口，黄河边每天有上百人献船，李渊于是设置水军。壬寅日，孙华从合阳率领轻骑兵渡过黄河拜见李渊。李渊与他握手并让他坐下，慰问奖赏他，任命孙华为左光禄大夫、武乡县公，兼任冯翊太守，他的部下有功的，委托孙华依次授予官职，赏赐非常丰厚。李渊让孙华先渡过黄河；随后派左右统军王长谐、刘弘基及左领军长史陈演寿、金紫光禄大夫史大柰率领六千步兵骑兵从梁山渡过黄河，在河西扎营等待大军。任命任瑰为招慰大使，任瑰劝说韩城守军投降，攻克韩城。李渊对王长谐等人说：“屈突通有不少精锐士兵，距离你们只有五十多里，却不敢来交战，足以说明他的士兵不愿为他效力。但屈突通怕获罪，不敢不出战。要是他渡过黄河进攻你们，我就进攻河东，河东必定无法坚守；要是他全军守城，你们就拆毁黄河上的桥梁：我们前扼他的咽喉，后击他的后背，他要么逃跑，要么被我们擒获。”
跟随隋炀帝在江都的骁果士兵很多都逃跑了，隋炀帝很担心，问裴矩该怎么办，裴矩回答：“士兵没有配偶，难以长期驻守，请允许士兵在江都娶妻。”隋炀帝采纳了他的建议。九月，隋炀帝召集江都境内所有寡妇、未婚女子到宫中，让将士们随意挑选；有的士兵之前已与女子有私情，允许他们自首，随后就把女子配给他们。
武阳郡丞元宝藏献郡投降李密，甲寅日，李密任命元宝藏为上柱国、武阳公。元宝藏派他的门客巨鹿人魏征写信向李密致谢，还请求将武阳郡改名为魏州；又请求率领部众向西夺取魏郡，向南与其他将领会合夺取黎阳仓。李密很高兴，当即任命元宝藏为魏州总管，召魏征担任元帅府文学参军，掌管记室事务。魏征幼年丧父，家境贫寒，喜欢读书，有远大志向，生活放浪不羁，不经营产业。起初他当道士，元宝藏召他掌管文书。李密欣赏他的文才，所以召他来身边任职。
起初，贵乡县长弘农人魏德深，治理地方清静无为，不施严刑峻法却能把地方治理好。辽东之战时，朝廷征收各种赋税，使者络绎不绝，要求郡县完成，百姓难以承受，只有贵乡县境内不受惊扰，百姓之间互通有无，不耗尽民力，朝廷的需求都能满足。元宝藏受诏讨伐盗贼，多次征调器械，动辄用军法处置官吏。邻县营造器械时，都把工匠聚集在官府庭院，官吏互相监督催促，昼夜喧闹，仍无法完成任务。魏德深让工匠们自行营造，官府里安安静静，像没事一样，只告诫官吏不要让百姓比其他县更劳苦；但百姓都尽心尽力，贵乡县营造的器械总是各县中最多的，百姓像爱戴父母一样爱戴魏德深。元宝藏嫉妒他的才能，派他率领一千士兵赶赴东都。魏德深率领的士兵听说元宝藏投降李密，思念家乡亲人，刚出东都城门，就向东痛哭返回；有人劝他们投降李密，士兵们都哭着说：“我们是和魏明府（魏德深）一起来的，怎能忍心抛弃他！”
河南、山东发生大水灾，饿死的人遍布荒野，隋炀帝下诏打开黎阳仓赈济百姓，但官吏不及时发放粮食，每天有几万人饿死。徐世积对李密说：“天下大乱，根源就是饥荒。现在我们要是夺取黎阳仓，大事就成功了一半。”李密派徐世积率领五千部下从原武渡过黄河，与元宝藏、郝孝德、李文相及洹水贼寇首领张升、清河贼寇首领赵君德共同袭击并攻克黎阳仓，占据了它，打开粮仓让百姓随意取粮，十天之内，就招募到二十多万精锐士兵。武安、永安、义阳、弋阳、齐郡相继投降李密。窦建德、朱粲等人也派使者归附李密，李密任命朱粲为扬州总管、邓公。泰山道士徐洪客写信给李密，认为：“大军长期聚集，恐怕粮食耗尽后士兵溃散，军队疲惫、士兵厌战，难以成功。”劝李密“趁现在有进取的时机，凭借士兵战马的锐气，沿黄河向东进军，直逼江都，擒获暴君，号令天下。”李密认为他的话很有气魄，写信招他来，徐洪客最终没有出山，没人知道他去了哪里。
乙卯日，张纶攻占龙泉、文成等郡，抓获文成太守郑元璹。郑元璹是郑译的儿子。
屈突通派虎牙郎将桑显和率领几千名骁果士兵连夜袭击王长谐等人的营地，王长谐等交战失利，孙华、史大柰率领游击骑兵从背后袭击桑显和，大败桑显和。桑显和逃脱入城，还拆毁了黄河上的桥梁。丙辰日，冯翊太守萧造投降李渊。萧造是萧修的儿子。
戊午日，李渊率领各路军队包围河东，屈突通据城坚守。
部将僚属再次推举李渊兼任太尉，增设官属，李渊采纳了。当时河东还没攻克，但三辅地区每天有上千名豪杰前来归附。李渊想领兵向西进军长安，却犹豫不决。裴寂说：“屈突通拥有大军，凭借坚固城池，我们要是放弃他西进，万一进攻长安不能攻克，撤退时又被河东军队追击，腹背受敌，这是危险的做法。不如先攻克河东，然后向西进军。长安依靠屈突通作为援军，屈突通战败，长安必定会被攻破。”李世民说：“不对。兵贵神速，我们凭借多次胜利的威势，安抚归附的百姓，大张旗鼓向西进军，长安百姓会望风震惊，来不及谋划，不敢决断，夺取长安就像摇落枯叶一样容易。要是在坚固城池下拖延，让对方有时间谋划防备，耗费时日，士兵人心离散，大事就会失败。况且关中起兵的将领，还没有归附的对象，不能不早点招抚。屈突通只是个据城自守的家伙，不值得担心。”李渊兼顾两种意见，留下众将包围河东，自己率领军队向西进军。
朝邑法曹武功人靳孝谟，献蒲津、中潬两座城池投降；华阴县令李孝常献永丰仓投降，还接应河西的各路军队。李孝常是李圆通的儿子。京兆各县城也大多派使者请求投降。