唐高祖武德元年（618年）十月，当大唐帝国刚刚建立5个月的时候，魏征以归降的俘虏身份，首次进入了首都长安。
当初李密在入关归唐前，曾有过较美好的期待。他虽然也是以败将身份降唐，但认为自己曾经拥众百万，在山东一带的广大地盘上，也是个称王称霸的盖世豪杰。而今“解甲归唐”，山东连城数百，知我在此，也会归顺，就像汉代的窦融一样，功勋绝对小不了。李渊念我这功勋和身份，谅他也不会小瞧我，最起码也得给我个宰相当。可是，等他到了长安，入见李渊后，却只被授予一个光禄卿的官职。这是李密万万没有想到的，大失所望之后，他又萌生叛唐之心。后来，李密主动请求以本部兵往黎阳去招抚过去的部下，唐高祖欣然同意。朝中群臣多劝谏高祖：“李密狡猾好叛，如今让他东去，恰似投鱼入水，放虎归山，必一去不返，成为我大唐的劲敌了。”高祖却充满自信地笑道：“帝王自有天命，不是小人们所能取得的，即使他叛变逃跑了，也没什么可怕的。我让他去与山东的贼人打架，我们坐收渔人之利，这应该是眼下最佳的一条方案。”于是，李密与心腹旧友王伯当和贾润甫迅速离开了长安，直奔桃林县。他们杀掉县令，占据县城，掳掠了许多人口财物和畜产，顺着南山往东逃窜，准备先到瓦岗旧部现为刺史的张善相那里，暂时栖身，然后恢复旧帜，重聚力量，以图东山再起。可是，当他们一行路经熊耳山时，被熊州行军总管盛彦师埋伏击败，李密和王伯当当场毙命，他俩的首级被割下来，送往长安，向皇上报功奏捷。从李密起兵到此，总计6年，一代枭雄的一生，就这样悲壮地结束。
李密叛逃事件发生之时，魏征正默默无闻地待在首都长安，等到平定了事件后，可能是由此开展了对瓦岗旧部进行大清查的活动，于是，几乎被人遗忘的魏征重新像一件不起眼的过时衣服一样，被人翻捡出来。魏征接到唐高祖的召见命令，以为被处置的时刻已经来临，便做好了赴死的准备，与战友们挥泪诀别。不料进宫谒见之后，皇上并没有让他去死，而是安抚有加，并以极大的信任派他去黎阳招降瓦岗旧将徐世绩。魏征深知此行是戴罪立功的性质，假如能劝降了徐世勣归降唐朝，自然是立功受奖；假如做不到这一点，那么他的命运将会与老上级李密一样，只有死路一条。然而，此时此刻，魏征已别无选择，在这生死关头，他像押注的赌徒一般，只好孤注一掷了，兴许此行能够完成使命，把悍将徐世绩说动，那么不但保住了性命，可能从此命运转折，否极而泰来哩！
魏征以刚刚被任命的秘书丞的身份启程了。当他骑着马，疲惫不堪地在崎岖的山路奔波了数天以后，终于来到了黎阳（今河南浚县），终于要面对决定他命运的对手徐世绩了。能不能说服这位骁勇善战的农民军首领，魏征心里并无十足的把握，为此，刚刚在黎阳馆舍里住下的他，心中十分忐忑不安。
徐世绩，就是后来唐朝赫赫有名的大将李绩。他本名徐世绩，后来，因归降唐朝，且战功卓著，被赐姓李，又因“世”字犯唐太宗名讳，所以改单名叫李绩。李绩是山东曹州离狐（今山东东明县）人，出身于一个大地主家庭，家多财产，乐善好施，经常赈济贫民，故而在家乡树有较高的声望。隋末农民战争爆发后，他年仅17岁，跟随翟让举兵造反，首次与隋军交战，就斩杀了大将张须陀，从此声名大振。隋炀帝大业十二年（616年），李密来到了瓦岗寨。李密出身望族，很有才能，在他的策划和指挥下，取得了荥阳大海寺战役的胜利，又攻下了兴洛仓，立下许多战功。李绩与王伯当等商量，说服翟让，公推李密为瓦岗寨起义军的首领。李密建立了农民政权后，李绩被封为右武侯大将军，东海郡公。在李绩的建议下，瓦岗军先后打败王世充和宇文化及，兵力发展到20万人。唐高祖武德二年（619年），李密归降唐朝后，瓦岗军所控制的山东广大地区，仍然由李绩占据着。为了表示对李密的耿耿忠心，李绩将所占据的所有州县的户籍、田册名单一齐送给李密，让李密去交给唐高祖。唐高祖对李绩的行为大加赞赏，感动地说：“徐世绩感德推功，真是个纯臣！”于是下诏授李绩为黎阳总管、上柱国，封莱国公，后又改封曹国公，加授右武侯大将军，赐姓李氏，命李绩率兵总理河南、山东前线军务，负责消灭王世充。当驻扎在黎阳的李绩听说李密叛唐被杀的消息后，非常哀痛，为昔日的领袖身首异处、尸抛野岭而失声恸哭，他不避嫌疑，不顾个人安危，上表请求收葬李密，高祖被他的忠诚和义气所感动，欣然同意。李绩便将李密的尸体从熊耳山山沟中取回，盛敛入棺，并且披麻戴孝，率领全军沉痛地追悼李密，为他送葬。不久，河北起义军领袖窦建德率领大军进攻李绩，李绩寡不敌众，力屈而降，窦建德抓住李绩的父亲李盖为人质，令李绩归降自己，驻扎在黎阳，以抗拒唐军东进。
魏征所要劝降的李绩，正是由于以上的背景，眼下作为窦建德的部下，正驻军在黎阳。在对李绩的经历和目前的时局作了一番周密的调查和分析之后，魏征渐渐有了信心，他自信李绩是可以被说服归唐的。于是，他从容地写了一封信，寄给李绩。信是这样写的：
“自从隋末天下大乱以来，群雄竞起，角力争强，跨州连郡，不可胜数。魏公李密反叛隋炀帝，奋臂一呼，四方响应，万里风驰，云合雾聚，很快有了数十万之众。大军的威力影响了半个天下，在洛口大败王世充，在黎山摧毁宇文化及，那个时候，瓦岗军真是傲视群雄，势不可当。正当西进关中，直捣京师，扬大旗于西北，饮战马于渭川之际，瓦岗军却迅速由盛转衰，昔日有百战百胜威风的李密，转眼间成了奔投关中的败将战俘。看来，天下政权的归属，是自有天定的，而不是靠任何武人凭力气拼搏得到的。所以李密深知这层道理，感到上帝所认定的天子在西方，是唐帝李渊，而不是他李密，于是便毫不犹豫地率部入关，归服了大唐。徐世绩先生，您生于天下扰攘之时，对昔日的战友和领袖怀有深厚的情义，这是可以理解的。在主子已归降的严峻关头，您还能坚持到底，纠合残部，坚守一方，这种大无畏的气概和坚韧不拔的意志，更令我钦佩和感动。因为有了您，王世充尽管是乘胜之军，也停止了东进行动；窦建德由于怕与你硬碰硬而吃败仗，也不敢南下。这些足以证明您的威名和势力，对时局产生了重大的影响，在各派势力中占了沉甸甸的分量。然而，有多少人开始是非常了不起的人物，威风一时，不可一世，可有几个人能够有较好的结局？如今，您的选择，已经维系着未来的安危命运。若是将您的雄兵和重镇委托在大唐帝国身上，前途是极光明的，您及亲戚九族都将荣华富贵，子孙享福无尽；若您选择错了道路，跟随了窦建德，那么前途将是黑暗的，别说亲眷子孙，恐怕您自己的性命也难保住啊！历史上类似的教训很多，您也应该很明白。目前您处于兵家必争的要塞之地，应迅速做出决定，当机立断，而不应再犹豫迟疑，错失良机。倘若当断不断，坐观成败，恐有些凶狡之辈，先下手为强，那么您就被动了，您的一生恐怕就从此葬送了！”
李绩收到这封信，认真地看过数次，被魏征的合情合理的分析所打动，毅然决定率部归唐，并且立即开仓运粮，支援正在河南打仗的李世民的叔父、淮南王李神通的军队。正当魏征欣喜万分地庆幸自己使命完成、大功告成之时，不料风云突变，窦建德带领河北起义军打到黎阳，一夜之间，县城被占领，准备回长安复命的魏征，行装已打点好，正准备突围出城，但还是被河北农民军抓获，落入窦建德的手中。此时的魏征身份刚刚相反，作为唐朝的使臣，成了农民军的俘虏。这是魏征生平第二次当俘虏。
窦建德捉住了魏征后，对他反叛瓦岗军，并且充当唐朝皇帝的说客，先后劝服了元宝藏部队和李绩部队的行为，大为恼恨，本想立即杀死他而后快，但部下苦苦劝说窦建德，请他念在魏征昔日追随反隋义军，如今降唐也不是他做的主，有迫不得已的苦衷，况且他才华出众，足智多谋，能言善辩，留他在农民军中，肯定会有大用。窦建德便饶了魏征一死，转而好言慰抚，把他留在军中，并任命他为起居舍人。
窦建德在当时也是个名震天下的大豪杰。他出生于北周武帝建德二年（573年），故取名建德。其父母世代务农，少年时有胆识，有勇力，讲义重信，在乡间颇有名声。他当过里长，仗义疏财，也犯过法，他的乡亲孙安祖被兵役逼得造反一事，牵连到窦建德，官府杀掉了他的家属，这样，窦建德也忍无可忍，带着200多被强行征来的新兵一起举起义旗，投奔高鸡泊起义军首领高士达，任司兵。大业十二年（616年）提升为军司马，率兵击杀涿郡留守郭徇。后来，高鸡泊起义军的首领们，有的在内部火拼中死去，有的跟隋军交战时牺牲，窦建德得以脱颖而出，受到大家的拥戴。尤其是他凭借军事才能，不失时机地攻占了饶阳，收编余部，安葬阵亡的农民军将士，使得士气大振，不久发展到十几万人，攻占了河北地区的许多郡县，他一跃成为河北起义军的总首领。617年，窦建德在乐寿（今河北献县）称长乐王，改年号为丁丑，建立官职，逐渐有了立国规模。次年，在取得了隋末农民战争中著名的河间（今属河北）“七里井大捷”后，窦建德称夏王，建国号为夏，改年号为五凤，建都于乐寿，后迁都洛州（今河北永年），杀掉称帝的宇文化及，威震全国。从此以后，全国形成了三大势力，除窦建德的河北政权外，河南地区有王世充占据洛阳，建国号为郑，关中的李渊也称帝，建国号为唐。三个方面都在隋朝灭亡后，决心要与对手一较高低，争夺天下。
魏征就是在这种局势下，在黎阳被窦建德抓获，从而成为河北割据势力———夏国的一名中层官员。这时，他刚好40岁。
李渊在相继消灭了威胁关中的薛举父子、李轨、刘武周后，可以集中精力经营山东了。武德三年（620年）七月，命令次子秦王李世民率军进攻王世充。为了各个击破，他仿效秦始皇灭六国的故事，也采取远交近攻的策略，遣使与窦建德修好，窦建德送回了同安公主和李神通，而魏征则仍为窦建德所控制。李世民逼近东都，河南州县不断请降，王世充日渐窘迫，遂向窦建德求援。
窦建德与王世充是唐王朝东征天下时所面临的两大强敌。李世民率大军出关东征时，窦建德如果与王世充联合抵抗，李世民是难以取胜的。然而，窦建德为了铲除幽州罗艺和周桥城孟海公的势力，却听任李世民对王世充的用兵。武德三年（620年）年底，王世充在危难中派人向窦建德求救，然而建德此时却渡河攻击孟海公，未能出兵援助王世充。窦建德的中书舍人刘斌为此曾向他劝谏说：“今唐有关内，郑有河南，夏居河北，此鼎足相持之势也。闻唐兵悉众攻郑，首尾二年，郑势日蹙而唐兵不懈。唐强郑弱，其势必破郑，郑破则夏有齿寒之忧。为大王计者，莫若救郑，郑拒其内，夏攻其外，破之必矣，若却唐保郑，此常保三分之势也。若唐军破后而郑可图，则因而灭之，总二国之众，乘唐军大败，京师可得而有，此太平之基也。”
刘斌对形势和利害的分析是颇有道理的，他的及时救助王世充的建议，也是正确的，窦建德也曾高兴地说：“此良策矣！”然而，为攻击孟海公，窦建德并没有把这一“良策”立即付诸实施。
武德四年（621年）二月，窦建德攻克周桥，俘虏孟海公。
三月，窦建德留其将领范愿守曹州，率大军西救洛阳。然而，此时王世充的军事实力已大为削弱，洛阳城中又缺乏军粮，形势远不如武德三年（620年）秋冬时节有利于王世充、窦建德。尽管如此，窦建德此时毕竟拥有很强的军事实力，又乘着对罗艺、孟海公、徐圆朗作战的胜利，无有后顾之忧，将士士气高涨，后方粮草的供给又颇有保障，因此窦建德救援洛阳的大军，在西进路上接连攻克了许多城池。
窦建德的大军到达滑州（今河南滑县），王世充的行台仆射韩洪开门纳之，又进逼元州、梁州、管州，一一攻陷，接着又攻陷荥阳（今河南荥阳）、阳翟（今河南禹县），“水陆并进，汛舟运粮，溯河西上。”王世充的弟弟、徐州行台王世辩派将领郭士衡率兵数千人与窦建德的军队会合，共有兵十余万，号称30万，驻扎在成皋（即虎牢，今河南汜水镇），筑宫于板渚（在汜水镇东北黄河侧）。面对窦建德来势汹汹的大军，李世民的将领中产生了分歧。
在窦建德的军队到达河南之前，建德曾写信给李世民，请唐军“退至潼关，返郑侵地，复修前好”。为此，李世民召集将领商议对策。郭孝恪说：“世充穷蹙，垂将面缚，建德远来助之，此天意欲两亡之也，宜据虎牢之险以拒之，伺间而动，破之必矣！”
记室薛收赞同郭孝恪的意见，并进一步阐述说：
“世充保据东都。府库充实，所将之兵，皆江淮精锐，即乏粮食耳。以是之故，为我所持，求战不得，守则难久。建德亲帅大众，远来赴援，亦当极其精锐，纵之至此，两寇合从，转河北之粟以馈洛阳，则战争方始，偃兵无日，混一之期，殊未有涯。今宜分兵守洛阳，深沟高垒，世充出兵，慎勿与战，大王亲帅骁锐，先据成皋，厉兵训士，以待其至，以逸待劳，决可克也。建德既破，世充自下，不过二旬，两主就缚矣！”
李世民认为薛收讲得很对，但萧瑀、屈突通、封德彝却提出不同的意见，他们说道：“吾兵疲老，世充凭守坚城，未易猝拔。建德乘胜而来，锋锐气盛，吾腹背受敌，非完策也，不若退保新安，以承其弊。”
针对两种不同的意见，李世民说道：“世充兵摧食尽，上下离心，不烦力攻，可以坐克。建德新破海公，将骄卒惰，吾据虎牢，扼其咽喉。彼若冒险争锋，吾取之甚易，若狐疑不战，旬月之间，世充自溃。城破兵强，气势百倍，一举两克，在此行矣。若不速进，贼入虎牢，诸城新附，必不能守；两贼并力，其势必强，何弊之承，吾计决矣！”
薛收的作战方案如实地分析了敌我双方的形势，承认敌人所拥有的实力和优势，认为这是一场恶战，不可侥幸以求速胜。然而，他又提出了分兵出击，“深沟高垒”“以逸待劳”，特别是要抢先占据虎牢，形势将向有利的方向转化。李世民采纳了薛收的合理建议，决定立即出兵占据虎牢。
屈突通等人又向李世民请求解除洛阳之围，退兵新安，“据险以观其变”。李世民不予采纳，于是将部队分成两部分，使令屈突通等人协助齐王元吉继续围困东都洛阳，而李世民则率领骁勇3500人直取虎牢。当时，王世充登城望见唐军有一支人马向东移动，但不知唐军的意图如何，竟不敢从城中出兵采取行动。
抢占虎牢，可以隔断王世充与窦建德之间的联系，因此，李世民与窦建德谁能抢先占领虎牢，对于双方交战后的战局十分重要。事实表明，李世民的积极作战方针是正确的，如果消极退却，势必促成王世充、窦建德两支军事力量的联合作战，形势对唐军将极为不利；而以抢占虎牢为首要目标的积极方针，则有利于分裂王世充和窦建德，以便于集中力量首先打败强敌窦建德，然后各个击破。关键时刻的英明决策，再次显示出李世民善于采纳正确意见，独具战略家的胆识和雄才大略。
李世民所率领的这支东进部队，路经河阳（今河南孟县南）、巩县（今河南巩县东北），到达虎牢。虎牢守将沈悦请求献城而降，李绩于夜间“潜兵接应”，终于攻克虎牢。李世民率大军进驻虎牢，抢先占据虎牢，使李世民在战略上获得了主动地位。
窦建德对于唐军的实力和李世民的指挥才能深有所知，因而在李世民抢先占领虎牢，摆出一副进攻的姿态后，他小心谨慎，不肯轻易出战。窦建德的军队距离后方很近，粮草供应方便；而唐军却远离关中与河东，粮草接济不如敌方便利，加之又与王世充的军队对峙、交战半年有余，利于速决。可见，窦建德所采取的小心谨慎、拖延时间以捕捉战机的作战方针，无疑是正确的。
三月甲申日，李世民为诱使窦建德的主力出营决战，亲率500名精锐骑兵，出虎牢东20余里，窥视窦建德的军营，沿路分别留下骑兵，使令李绩、程知节、秦叔宝分别率领，埋伏在道旁，自己只带领4名骑兵向窦建德军营前进。随行的将领有善于使槊的猛将尉迟敬德，而李世民则是善于使用弓箭，行进中，李世民对敬德说：“吾执弓矢，公执槊相随，虽百万众若我何！”
在距离窦建德兵营3里处，建德的巡逻骑兵遇见李世民，误以为是自己的侦察兵。李世民大声说道：“我秦王也！”于是张弓射箭，击毙敌兵一将。窦建德军营大惊，出动五六千名骑兵追逐，随行人员都惊慌失色。李世民对几名随行骑兵说：“你们先行，我与敬德殿后。”于是，世民与敬德“按辔徐行，追骑将至，则引弓射之，辄毙一人。追者惧而止，止而复来，如是再三，每来必有毙者，世民前后射杀数人，敬德杀十许人，追者不敢复逼”。就这样，李世民用犹豫徘徊、欲行又止、逐渐退却的方式将敌人骑兵引诱到伏击圈内，李绩等人率领伏兵奋起攻击，大破敌军，斩首300余级，俘获敌军骁将殷秋、石瓒等回归虎牢。当然，这次伏击对于窦建德的主力并无损伤，但是俘虏敌军骁将却使敌军士气受挫。这时，李世民又写书信向窦建德劝说，陈述不该救助王世充的道理，对窦建德进行攻心战。书信说：
“赵、魏之地，久为我有，为足下所侵夺。但以淮安见礼，公主得归，故相与坦怀释怨。世充卿与足下修好，已尝反复，今亡在夕，更饰辞相诱，足下乃以三军之众，仰哺他人，千金之资，坐供外费，良非上策。今前茅相遇，彼遽崩摧；效劳未通，能无怀愧。故抑止锋锐，冀闻善择；若不获命，恐虽悔难追。”
窦建德的大军被遏止在虎牢以东，不能西进。一个多月的时间过去了，几次小规模的交锋都以失利告终，主力又不敢轻易出营与唐军决战，军中的将士多思乡欲归。世民派王君廓率轻骑兵袭击运粮士兵，俘获窦建德的大将张青特。窦建德的大军不能越虎牢西行，他的谋士凌敬向他提出了渡河进攻山西的作战方案。凌敬说：
“大王悉兵济河，攻取怀州、河阳，使重将守之，更鸣鼓建旗，逾太行，入上党，徇汾、晋，趣蒲津，如此有三利：一则蹈无人之境，取胜可以万全；二则拓地收众，形势益强；三则关中震骇，郑围自解。为今之策，无以易此。”
凌敬的战略设想无疑是高明的，如果付诸实施，唐军因抢先占据虎牢而获得的优势将立即化为乌有，而窦建德大军的“入上党，徇汾、晋”，又势必震动关中，使李世民不得不回师西救，处于被动地位，洛阳之围将自动解除；而窦建德军队的北渡黄河向山西进军，可立即摆脱在虎牢之东不得西进的被动局面，使自己处于主动的有利地位。总之，在李世民与窦建德虎牢相持的局势中，如果按凌敬的方案走北上进攻山西的这步棋，整个战局对于窦建德来说，可以因此而进退自如，步步主动有利。
窦建德也认为凌敬的方案可行，想要听从，然而王世充却认识不到这一方针可使洛阳之围将自动解除，他像快要淹死的人抓住一根稻草那样，以为窦建德一旦在虎牢前线渡河攻取山西，自己将立即被淹死。为此，他接连派使者请求窦建德不要放弃直接救援洛阳的作战方案；又暗中用重金贿赂窦建德的部将，阻挠凌敬作战方案的实施。接受了贿赂的将领们向建德说：“凌敬书生，安知战事，其言岂可用也？”
窦建德听取了将领们的话，又改变了主意，便对凌敬说：
“今众心甚锐，天赞我也。因之决战，必将大捷，不得从公言。”
凌敬在窦建德面前据理力争，建德为此而发怒，令左右将凌敬从军帐中扶出帐外。窦建德的妻子曹氏赞同凌敬的方案，她见事关全局，便向丈夫进言说：“祭酒（即凌敬）之言不可违也。今大王自滏口乘唐国之虚，连营渐进以取山北，又因突厥西抄关中，唐必还师自救，郑围何忧不解！若屯兵于此，劳师费财，欲求成功，在于何日？”
窦建德听不进妻子曹氏的良言，说道：“此非女子所知！吾来救郑，郑今倒悬，亡在朝夕，吾乃舍之而去，是畏敌而弃信也，不可。”
王世充的遣使告急、以金行贿和窦建德拒不采纳凌敬建议的言论和行动表明，在隋末争夺天下的角逐之中，王世充与窦建德虽然拥有强大的军事实力和广阔的地盘，但王、窦缺乏远大的政治眼光和战略才能，二人或以勇猛善战著称，或者善于以小恩小惠争取将士与百姓之心，在决定命运的生死关头，一个是至死抓住稻草不放，一个是被告急者的涕泣和守信观念所困惑。在李世民与王世充、窦建德的生死决战时刻，凌敬的方案对于王、窦支势力来说，可谓是天赐的一线生机，然而他们却执迷不悟，拒不采纳。同李世民的善于纳谏（如采纳郭孝恪、薛收的建议分兵两路、抢先占据虎牢）和善于驾驭战争全局相比，王世充、窦建德确实是愚蠢、短见的低能儿，强大的军事实力在王、窦二人手中发挥不出应有的威力，毫不理解与拒不采纳凌敬建议一事表明，王、窦二人自取灭亡的命运已经是注定的了。
两军对峙之时，一份军事情报的获得加速了窦建德、王世充的灭亡进程。
唐军的谍报人员获得了“建德伺唐军刍尽，牧马于河北，将袭虎牢”的确切情报。对于这一情报的获得，李世民高兴万分，他决定将计就计，把窦建德的主力从板渚的军营中引诱出来，聚而歼之。
武德四年（621年）五月戊午日，李世民率兵北渡黄河，南临广武，察看敌军形势，同时将千余匹战马留在黄河北岸的河边放牧，诱使敌军出营，至傍晚时返回虎牢。
第二天，窦建德果然倾巢出动，自板渚出兵到牛口布阵，由北至南，横亘20里，鼓噪行进。
唐军众将领见窦建德所布下的军阵气势浩大，兵马漫山遍野，依山傍水，都有些恐惧。李世民见此情景，率数名骑兵登上高丘观望敌人军阵，然后向众将领鼓舞士气，说道：“贼起山东，未尝见大敌，今度险而嚣，是无纪律，逼城而阵，有轻我心；我按甲不出，彼勇气自衰，陈久卒饥，势将自退，追而击之，无不克者。与公等约，甫过日中，必破之矣！”
面对着来势汹汹的敌人，李世民的“我按甲不出，彼勇气自衰”的策略是正确的。窦建德对唐军有轻蔑之意，派300名骑兵向西渡过汜水，距唐军兵营一里处停止前进。建德派使者向李世民军中传话：“请选锐士数百名出营交战。”
李世民派王君廓选200名手持长槊的锐士出营交战。交战后，唐军忽进忽退，双方均无胜负，各自引兵而还。窦建德的部将王琬乘坐隋炀帝的骢马，铠仗甚鲜，到阵前夸耀示众。李世民望见后说道：“彼所乘真良马也！”尉迟敬德听统帅夸奖战马，便请求出阵夺取。李世民忙阻止说：“怎可以因一匹战马而使我丧失猛士。”世民这句话的弦外之音，是用激将法试看敬德的本事，敬德不听劝阻，与高甑生、梁建方三骑出阵将王琬擒拿过来，引战马驰归回营。敌阵的将士被敬德等三人擒将夺马的神奇举动惊呆了，无人敢于上前抵挡。李世民下令将散放在黄河北岸的战马召回，待战马全部回营后再与敌军交战。
窦建德自清晨布阵完毕，直到中午时分唐军主力仍不出阵交战。窦建德军阵中的将士，从清晨到中午白白地紧张了大半天，此时都颇感饥饿疲倦，军队队形开始混乱，将士们争着饮水，犹豫徘徊，想要退却。李世民抓住敌阵松弛懈怠的时机，命令宇文士及率300名轻骑经过建德军阵的西侧疾驰南上，并告诫士及说：“贼兵如果不动，你应引兵归营；如果敌兵出动则引兵东出。”
宇文士及率骑兵到达敌阵前沿，敌兵果然出动。李世民下令全军说：“可以出击了！”
这时，河边的战马已经回到阵前，勇士们登上战马，人人奋勇向前。李世民率轻骑兵率先冲出阵中，大军随即出动，东渡汜水，直逼敌阵。窦建德的群臣正在向他朝见，唐军的骑兵突然而至，朝臣趋就建德，建德召骑兵向前抵御唐军，因中间有朝臣的阻隔，建德的骑兵无法向前。建德见形势紧张，挥手令朝臣退却，就在这进退之际，唐兵已经到达。窘迫之中，窦建德的军队退依东坡，窦抗引兵进击，交战后小有不利。李世民率骑兵前往救援，所向披靡。交战中，只见淮阳王李道玄多次挺身杀入敌阵，再入再出，身上被射中的箭羽多如猬毛，他仍旧是勇气不衰，用箭向敌人射击，无不应弦而倒。李世民为李道玄换了一匹战马令他随从自己作战。在李世民、李道玄的带领下，敌我双方的主力部队都投入了战斗，20余里长的战场上，只见“尘埃涨天”，人马的呼喊声震撼着整个大地。此次战役规模之宏大、程度之激烈以及双方投入的兵员之多，实为隋末以来历次战役中前所未见。
李世民在夺得战役的主动权后，率史大柰、程知节、秦叔宝、宇文歆等人卷旗而入，从敌军的阵后杀出，张设唐军旗帜。窦建德的将士回首见自己军阵的后面都已张出唐军的旗帜，知道大势已去，军阵顿时溃散，唐军乘胜追击30里，斩首3000余级，窦建德本人也身中枪伤，逃窜到黄河与汜水合流处的牛口渚。惶恐之际，窦建德想起了军中曾流传过的一首童谣：“豆入牛口，势不得久。”于是心中暗自厌恶。霎时间，唐车骑将军白士让、杨武威追逐而来，建德坠于马下。白士让不知此人是谁，正想要举枪刺杀，建德在地下仰面说道：“不要杀我，我是夏王，你可以因此而获得奖赏富贵。”
白士让下马俘获窦建德，押至李世民面前，世民责怪他说：“我自讨王世充，何干汝事，你来越境，犯我兵锋！”
“今不自来，恐烦远取。”做了俘虏的窦建德回答说。
虎牢一战，窦建德被俘，大军全部溃散，俘获5万人。世民当即将俘虏遣散，令他们各自还归乡里。窦建德的全军覆没，洛阳城中的王世充已成为瓮中之鳖，关东再无强敌可击。
虎牢战败，窦建德的妻子曹氏与左仆射齐善行率领数百名骑兵逃回洛川（今河北永年东南）。
虎牢战役结束后，李世民囚窦建德等人来到洛阳宫城之下，令王世充自城上观看。世充在城上与城下的窦建德交谈，哭泣不止。世民令王世充的长孙安世“入城言败状”，世充召诸将商议突围，诸将不肯，王世充不得已“素服率其太子、群臣、二千余人诣军门降”。李世民东征王世充、窦建德获得了胜利。至此，与李渊争夺天下的劲敌一一歼灭，再无人能与他竞争了。
武德四年（621年）五月，窦建德被歼后，魏征回到长安。他在窦建德处一年半，其间有无活动，有什么活动，现无只言片语可证。或许史籍失载，然更可能是他根本就无所作为，只是尸位而已。正是这样，他回到朝廷才不仅没受到任何追究，而且立即被重新任用。可以认为，魏征任窦建德起居舍人是违心的，不得已而为之。在1年多的时间内，魏征于窦氏未谋一策，未进一言，是无丝毫可以怀疑的。不然的话，以他的个性，以他的才识，在重大问题上，处生死存亡的紧要关头，他不可能冷眼旁观，无动于衷。如窦建德与李世民决战之日，窦军布阵所经之处皆为险要之地，仍喧嚣不已，足见部队没有纪律；又临城布阵，未免轻敌，恶战在即，麻痹大意，这是致命之弊，而魏征视若未见，一言不发。李世民根据“一鼓作气，再而衰，三而竭”的原理，先勒兵不出，蓄力待发，等敌筋疲力尽时，一锤定音，全歼强敌。魏征对窦建德的态度清楚地表明，他要侍奉的是明主，非明主则不愿效力，对杨广如此，对窦建德也是如此。杨广不足论，窦建德尊重人才，也有政治头脑，本来是可以赢得魏征倾心的，而他的根本问题是，文化素质不高，目光短浅，缺乏经营天下的气度，不辨是非，昧于识人，像大将王伏宝，勇猛而有谋略，军中无出其右，遭人嫉妒，被诬谋反，窦建德听信谗言，将他杀害，这岂不是自断左右，纳言宋正本，好直谏，也因此遭谗被害。魏征深知，以自己的刚直，很难容于窦氏，所以他只好韬晦，隐以待时。
