晋阳义军奉命前行，来到贾胡堡，距霍邑还有五十多里。这时，天空突然下起了滂沱大雨，不便行军，义军只好就在贾胡堡驻扎。偏偏大雨一连下了好几天，老是不停，大军只好坐等，无法前进。李渊担心军粮吃完了，派府佐沈叔安赶赴太原，让他再运一个月军粮救济义军，沈叔安领命前去。
李渊日夜盼天晴，天气却迟迟不见好转，心中非常焦虑烦躁。忽然，军校呈上一篇檄文，李渊急忙打开看，只见开头两句写着：“魏公李密，谨以大义布告天下。”李渊不由得失声说道：“李密也起义了？”再往后看，就是历数隋炀帝十宗罪状，后面写着“隋炀帝的罪多到罄竹难书，愿选有德的人来当这天下的君主，仗义讨贼，共安天下”之类的话。
再看文末所属日期，写着永平元年五月。李渊非常气恼，说道：“好大的胆量！”话还没说完，李世民正好进来，于是，李渊把檄文递给他看。李世民看完后，把檄文放在案上，对李渊说：“儿子听说李密攻取河洛，瓦岗寨盗贼翟让等人奉他为主，李密自称魏公，现在有数十万兵马，声势浩大。为今之计，不如暂时跟他联合，免得东边受到李密的牵制。”李渊点头同意，让温大雅写信给李密，约定与他结为同盟。信写好后，李渊就派人快马加鞭地送去给李密。
很快，李密的回信就到了，李渊立即阅览，上面写着：“我和兄长虽然派系不一样，但是都姓李。现在，我已经被天下英雄推选为盟主，希望兄长和我一起，共同夺取隋王室的天下。”李渊看到这里，不禁微笑说道：“真是太狂妄了！”信上还写着：“兄长如果不嫌弃，就和我各自率几千军兵到河内，当面结盟，一起征讨隋王室，那我真是感到很荣幸啊！”李渊看完后，召李世民前来商议。
李渊对李世民说：“李密很是狂妄自大，只靠写信的方式定约还不行。现在，我军征战关中，如果不跟他结盟，就会树敌。我们不如摆出谦卑的姿态，假装同意，让他志骄气盈，帮我们挡住河洛的隋兵，那么我们就可以专心西征。等把关中平定了，我们再借助天险，养精蓄锐，看他们鹬蚌相争，我们就坐收渔翁之利。你觉得呢？”
李世民很高兴，答道：“父亲的计策太好了，就按照你说的回信吧！”于是，李渊再让令温大雅回信，写道：
渊虽庸劣，幸承余绪，出为八使，入典六屯，颠而不扶，通贤所责。所以大会义兵，和亲北狄，共匡天下，志在尊隋，天生烝民，必有司牧，当今为牧，非子而谁？老夫年逾知命，愿不及此。欣戴大弟，攀鳞附翼。唯弟早膺图箓，以宁兆民，宗盟之长，属籍见容，复封于唐，斯荣足矣。殪商辛于牧野，所不忍言。执子婴于咸阳，未敢闻命。汾晋左右，尚须安辑，盟津之会，未暇卜期。谨此致覆！
温大雅把信写好后，李渊和李世民都看了一下，都说写得很好，让人快速给李密送去。李世民说：“这封信送去后，李密肯定会专心攻打隋军，那我们就没有东顾之忧了。”信使回来说，李密看了回信后很得意，拿着信左右炫耀。李渊听后更加放心了。
一天，探兵突然来报，说刘武周和突厥勾结，准备乘虚袭击晋阳。李渊忍不住长叹，说道：“看来是时机还没到啊，我们赶紧回去吧！”于是，李渊跟裴寂等人商议回晋阳的事，大家都很赞同。而且，裴寂也认为隋兵实力还比较强，不容易攻下，而且李密比较狡猾，难以预料，刘武周又唯利是图，所以还不如回去把本营守住，以后再图大事。李渊听了这话，立即决定第二天就还军。
当时，李世民正在外面巡逻，忽然听到还军的消息，立即返回询问事情的真假，谁知还是真事。世民连忙进入内室，对李渊说道：“大人为什么要撤军呀？”李渊把大概的原因跟他说了一下，还说：“粮食快吃完了，再继续前行也很难。”李世民劝阻，说道：“这时候到处都是谷物和大豆，怎么担心没有粮食呢？隋将宋老生性格浮躁，我们一战就可以把他擒住。李密顾恋洛口，根本无暇顾及远处。刘武周表面跟突厥勾结，其实他们内部都是互相猜忌的。况且，突厥的可汗刚跟我们通好，也不见得这么快就毁约。因此，这样的传闻，父亲不要轻信。父亲举兵起义为的就是拯救黎民百姓，因此我们应当先入咸阳，号令天下。现在遇到小小的敌人就想班师回去，这对我们大军的士气很不利啊！跟随我们的义军，一旦灰心丧气，大事就不可能成功了。”李渊摆头，说道：“如果晋阳失守，那我们不就无家可归了。我已经决定回去了！”说完，李渊命令大军赶紧整装返回。
李世民没有办法，只得出来见李建成，打算邀他一同劝阻父亲。李建成道：“我也不想马上回去，但父亲已经决定要返回，看来是不能阻止了。”李世民见李建成说话支支吾吾，猜到他无心去劝谏，于是又找裴寂等人商议，谁知他们也说要归去，惹得李世民很懊恼，连饭也吃不下。想来想去，还是决定再去向李渊进谏，谁知，世民刚踏入后营，就被李渊的亲兵拦住，说大将军已经就寝了。
李世民悲愤填胸，忍不住痛哭起来。李渊听到哭声，这才召李世民进来问明缘由。李世民哭着说道：“我们举兵起义，有进无退，前进就生，后退就死。现在您要退兵，我怎得不哭啊！”李渊又问退兵怎么就会死呢？李世民说道：“父亲想一想！行军打仗靠的就是军兵的锐气，一旦撤兵，锐气尽失，人心必定涣散。敌军如果趁机抄我们后路，我军肯定会土崩瓦解，哪里还有士气去战场砍杀？这样不就只能束手就擒了吗？”听了这话，李渊恍然大悟，可是又叹息道：“左军已经撤回了，怎么办呢？”李世民道：“左军虽然已经离去，料想也走得不远，儿子愿意前去把他们追回。”李渊笑了笑，道：“成败都由你决定了，你快去把他们追回吧。”李世民欣然退出，立即与李建成带领轻骑，连夜追回了左军。
过了两天，沈叔安把粮食运来了，老天也成人之美，渐渐雾散云消，展开了一道日光。李渊命令军士把铠甲晒晒，整理军械，绕行山脚，避开泥泞，来到霍邑城。宋老生一直固守城门，不肯出来迎战，李建成，李世民两人带着几十骑精兵来到城下，扬鞭指挥后军，假装要围城，并且让军士辱骂宋老生。
宋老生很生气，实在忍耐不住，率三万军兵开城出战。李渊率领几百骑精兵赶到，见宋老生出来对仗，命令殷开山催促后军赶快增援。大军很快赶到，李渊打算让军兵先吃点东西再迎战。李世民却说：“敌军已经出城，我们应该立即杀过去。先把他们消灭了再吃吧！”
于是，李渊和李建成在城东列阵，李世民在城南列阵，城内的隋兵从东门驰出。李渊和李建成率兵迎头拦杀，隋兵也不弱，一拥而上，反将李渊的大军逼退了几步。这时，柴绍冲到阵中，指挥军兵奋力抗击，义军这才勉强得以支撑。宋老生又率兵从南门出来，径直向城东冲去，夹击李渊的大军。这时，李世民正在南边观战，看到此情景，世民连忙和军头段志玄从高处冲下来，直击宋老生背后，宋老生只好回马与世民交锋。
李世民手握两把大刀，争先杀敌，左砍右劈，一连杀死了几十人，身上溅满了血，两把大刀都砍卷了，再换刀继续杀敌。段志玄等人紧随马后，拼命格杀，一当十，十当百，杀得隋军四处逃窜，人仰马翻。李世民让士兵大喊：“宋老生已经被擒住了！隋军快点投降吧！”此时，城东的隋军正和李渊的大军绞杀在一起，没有分出胜负。猛然听到主将宋老生被抓了，隋兵连忙退兵回城。
李渊趁势紧逼，可隋兵不一会儿就退到城中，还把城门紧闭，只剩下宋老生一支孤军进退无路，想要退回南门，被李世民截住，想要退回东门，又被李渊和李建成截住。两路义军向宋老生围拢而来，宋老生自知大势已去，下马想要投水寻死，这时，刘弘基驰马来到，大刀一挥，将老生砍成两段。宋老生的部下也都作了刀下之鬼，尸体绵延数里。李渊命令军兵赶紧吃饭，吃完饭继续攻城。
这时，天快黑了，大家一鼓作气，攻进城中，随即，李渊下令投降者免死，城中兵吏全部投降。李渊贴出安民榜文，引见以前的官吏，要去要留听从他们自己的意愿；已经投降的军兵，愿意回关中的，李渊命令一律授五品散官，当天就可以遣返回去。裴寂等人认为这样授官太过随意。李渊笑着说：“隋主很吝惜，不舍得封赏他人，所以失了人心，我怎么能像他一样呢？”
过了两天，李渊率军来到临汾，守城官吏投降，开门迎接义军，李渊对他们好生安抚，和对待霍邑的降军一样。然后，李渊率军进攻绛郡。绛郡郡守陈叔达是陈高宗的儿子，很有才学，一直闭门拒守。李渊一面攻城，一面招降。陈叔达先是跟李渊对抗，后来也归降了李渊。陈叔达迎李渊入城，李渊也对他以礼相待，将他招为幕宾。
然后，李渊出兵攻打龙门。这时，刘文静带着五百名突厥兵和两千匹马，来到军营。李渊对他慰劳有加，并说：“突厥兵少马多，正合我意，你可是不辱使命啊！”刘文静连忙称谢。
李渊正打算率军往河东攻打，去袭击屈突通。忽然，河东户曹任瓖求见，李渊立即召他进来。任瓖行过了礼，向李渊进言，说道：“关中豪杰都翘首瞻望义兵，我任瓖在冯翊（今陕西韩城一带）多年，这里的英雄豪杰我大多认识，如果唐公派我前去游说，他们肯定会望风投诚。而且，唐公可从梁山出发越过济河，攻打韩城，逼近郃阳。冯翊太守萧造是一个胆小的文官，肯定会归降您，就是关中盗贼孙华等人，也会远迎义师。这样，义军就可以长驱直入，占据永丰仓（京师附近重要粮仓），然后占据长安，关中就可以坐定了。”李渊听了这话，非常高兴，立即封任瓖为银青光禄大夫，让他写信招抚孙华等人，自己则督率大军转赴壶口。
黄河沿岸的百姓献上舟伐，李渊的大军准备渡河。这时，孙华过河来见李渊，李渊跟他握手交谈，让他就座，并当面封他为左光禄大夫武乡县公，兼任冯翊太守。孙华的门徒，李渊也依次封了官，并且对他们大加赏赐。孙华愿意做先锋，引军渡河。李渊派偏师先渡河，又封任瓖为招慰大使，让他去劝抚河西的郡县和城池归降。任瓖是个能言善辩的人，凭着三寸不烂之舌，很快拿下韩城和冯翊两座城池，冯翊太守萧造恭顺地呈上了归顺文书。将士们都推举李渊任太尉，让李渊增设官署，李渊听从了他们的建议。
随后，李渊召集众将商议下一步大军的去向。裴寂道：“屈突通手握重兵，坚守河东，我们如果舍他西去，进攻长安，万一长安没有攻下来，又不能回退到河东，到那时我们腹背受敌，那不是很危险吗？我们不妨先攻下河东，再去攻打长安。长安以河东为支撑，如果河东这边被攻下，那么长安就会闻风丧胆，有什么难破的呢？”
这话还没说完，李世民驳斥说道：“裴公说错了！兵贵神速，我今日乘胜西行，正是出人意料的上策。长安人士有智无谋，有勇无断，我军对长安唾手可得。如果我们围攻河东，长期滞留在河东城下，那么长安就可以趁机修缮城池，加固防御，养精蓄锐以逸待劳，而我们久攻河东不下，军心溃散，这是很危险的啊！况且，关中豪杰蜂拥而起，群龙无首，如果我们不及时加以招抚，就会有失众望，将来我们四面都是敌人，后悔莫及啊！”
李渊捻着胡子，说：“两种说法都有些道理，我看不如这样，我们兵分两路，偏军攻河东，正军向长安进攻。”
于是，李渊留下部分兵力围攻河东，自己率领大军渡河西进。路上，朝邑法曹靳孝谟，以蒲津、中錍二城来归降。华阴县令李孝常，以永丰仓来归降。
长安城周围的京畿地区的郡县，也有很多派人前来归降。李渊命令长子李建成和司马刘文静，率领王长谐等人，在永丰仓屯兵，驻守潼关，控制河东。慰抚使窦轨以下的官员都归李建成管辖。二儿子李世民率领刘弘基等人攻打渭北，慰抚使殷开山以下的官员，都归李世民管辖。两军分头各事，各挡一面。
李渊自己住在长春宫（隋王室行宫），隋冠氏县长于志宁、安养县尉颜师古以及李世民的大舅哥长孙无忌都来求见。李渊一一接待了他们，封于志宁为记室，颜师古为朝散大夫，长孙无忌为渭北行军典签。
这时，鄠县（今陕西省西安市下属县市）派人来见李渊，还呈上文书。李渊刚看了一眼，就把柴绍召入宫，笑着说道：“我的女儿真是智勇双全啊！”说着，就把文书递给柴绍看。柴绍看完文书也非常高兴。李渊接着说：“你可带领骑士前去迎接她了。”柴绍连忙把文书还给李渊，自己三步并作两地跑了出去。
这到底是怎么回事呢？原来，柴绍奔赴太原时，曾对妻子李氏说：“岳父举兵起义，招我过去，我如果和你一起去，路上诸多不便，但是如果把你一个人留在这里，我又担心你有危险。这要怎么做才好啊？”李氏从容说道：“夫君一个人快去吧！我一妇人，很好避祸。而且，我自有妙计脱身，请夫君不用挂念！”
所以，柴绍一个人去了太原。柴绍走后，李氏就躲进鄠县的深山。她把家财散尽，聚集了一批人马。这时，恰好李渊的堂弟李神通也躲进了鄠县山中，并和长安大侠史万宝等人，起兵响应李渊。李氏随即与李神通合兵，攻下了鄠县，又派家奴马三宝，联络关中盗贼何潘仁、李仲文、向善志等人，攻下了盩厔、武功、始平等县，聚集了七万多兵马。左亲卫段纶娶了李渊的妾生女儿，也在蓝田起兵，聚集了一万多人，和李氏结为援军。李氏等人听说李渊已经渡河，就由李氏写信报知李渊，信中说明了和李神通合兵，以及盗贼们归降等事情。
李渊喜出望外，连忙让柴绍前去迎接。柴绍很想念妻子，突然得到这样的好消息，不由得眉飞色舞，当下一跃而出，带着几百名骑兵前去欢迎佳偶了。
柴绍走后，李神通和段纶等人都派来使者，接迎李渊，就连那些投降的盗贼也都写信表达诚心。李渊封李神通为光禄大夫，段纶为金紫光禄大夫，又写信慰劳那些盗贼们，并且各封了官职，命令他们依旧待在原地，听从敦煌公李世民调遣。
李世民率大军向西进发，沿路的盗贼们全都来归附，数不胜数。义军来到泾阳时，扎营相连数里，大约有九万人马了。隰城（今山西省汾阳市）县尉房玄龄也来归附义军，和李世民一见如故，李世民封房玄龄为记室参军，让他做主要的谋士。两人正互谈军事，滔滔不绝，相见恨晚，这时，柴绍夫妻也带兵赶到，李世民高兴地出门迎接。只见姐姐李氏头戴雉尾，身披兽甲，腰上佩着七星宝剑，脚上穿着三寸战靴，一副将门女子，巾帼英雄的样子。李世民大大夸奖了姐姐一番。后面，柴绍的军兵有一万多人，一眼望去，也全都精神抖擞，没有羸弱之辈。李世民看到此景，不禁惊喜交加，满面春风，向姐姐行礼道：“姐姐辛苦了！”李氏笑着答道：“特来帮助兄弟！”李世民听了这话，连忙道谢。随后，世民又与柴绍说了几句，就命令来兵左右驻扎，然后带着姐姐、姐夫二人入帐，聊了好长时间，才从帐中出来。柴绍居左，李氏居右，各自设置军帐，带军驻扎。当时，李氏所带的兵马被称为娘子军。
李世民又向阿城进兵，一路上军律严明，队伍整齐。他派人禀告李渊，请求与其会师，一同赶赴长安。这时，李渊已经率军从长春宫出发，来到永丰仓，给将士分发军粮、军饷。随后，义军进驻冯翊。李渊命令刘弘基，殷开山等人，分兵向西攻打扶风。扶风城中出兵来迎战，被刘弘基击败，捷报传来，李渊非常高兴。这时，李世民的军报传来，李渊于是起兵西行。
一路上，义军经过隋朝的行宫时，李渊下令把宫殿全部撤销；把宫女也遣散回家。大军到达长安时，李世民早就已经驻军多时，两下会师，共有兵马二十多万。李渊命令大军各自原地驻扎，不能侵掠百姓，并派人来到长安城下，告知守城将士，义军愿意拥立代王为帝。
代王杨侑是隋炀帝的孙子，已故太子杨昭的第三个儿子。太子杨昭死得早，他留下三个儿子，大儿子杨倓被封为燕王，二儿子杨侗被封为越王，三儿子杨侑被封为代王。
越王杨侗留守东都洛阳，代王杨侑留守西京长安，京兆内史卫文升等人辅佐守城。卫文升年事已高，听说李渊的大军来到城下，吓得要死，竟然一病不起了。城中只有左翊卫将军阴世师和郡丞骨仪在调兵坚守。
李渊派人前去招降，被斥回，于是李渊率军开始攻城，并且下令所有将士入城后，不能侵犯隋氏宗庙和代王宗室，有敢违抗命令的，诛灭三族！
军兵奉命开始攻城，城上弓箭、石块像雨点般落下，孙华冒险越过战濠，摇晃旗帜准备登城，却被流箭射中要害，竟然一命呜呼。
看到此景，义军非常愤慨，全都努力进攻，前仆后继，连日不退。大将雷永吉左手执刀，右手持盾，最先登上城，其他军兵随即涌上，把城头守兵杀散了，打开城门，义军随即一拥而入。
阴世师、骨仪等人率领部众与义军巷战，先后被义军抓住。卫文升听说城池被攻陷，立即吓死了。代王杨侑在东宫吓成一团，左右宫人只顾着逃命，四处奔散。只有代王的伴读姚思廉保护代王，陪在代王身边。
李渊大军喧闹着闯进大殿，姚思廉厉声呵止，说道：“唐公举兵起义来到这里，为的是匡辅帝室，你们现在怎么这么放肆无礼？”姚思廉临危不惧，很有胆气。众人听了他的话，都感到很惊讶，退回大殿台阶之下，不敢轻举妄动。
李渊下马进入大殿，仍然按照臣礼拜见代王，并请代王迁居到大兴殿后厅。代王当时只有十三岁，能有什么主意，看到满屋子手拿兵器的军兵，吓得抖个不停。姚思廉没有办法，扶着代王到后厅后，哭着拜别后走了。
李渊退居长乐宫，和百姓约法十二条，把隋炀帝制定的所有的苛捐劳役全都废除，然后拉出阴世师和骨仪等十几个人，以贪婪苛酷，抵抗义兵的罪名斩首，并且把城内所有的囚犯全都释放了。
马邑郡丞李靖也在狱中，李渊问他犯了什么罪。李靖笑着说：“我没有犯罪，只是听说唐公要举兵起义，不知该怎么向天子报告，所以自己上了囚车，让长官把我送到江都，以便向天子密告。谁知到了长安，正好遇上唐公率军来围城，城中守将不明白这是我的计策，因此把我暂时押在这里。”
李渊听了这话，勃然大怒，说道：“你竟然敢告发我？左右将士，快点把他推出去，就地正法。”李靖大声喊道：“唐公兴兵起义，为了就是平定天下暴乱，现在竟然因为私怨要杀壮士吗？”李渊不说话，左右将士上前，要把李靖押出去行刑。忽然，有一人进来，劝阻道：“杀不得！杀不得！”
