刘黑闼逃跑后，秦王李世民移军讨伐徐圆朗。徐圆朗非常害怕，不知道怎么办。这时，河间人刘复礼对徐圆朗说：“彭城有个叫刘世彻的人，此人非常有才谋，而且有帝王相。将军如果想自己称帝，恐怕不能成功，不如立他为帝，指挥天下，一定可以成功的。”徐圆朗也这么认为，于是派人到浚仪，去迎接刘世彻招降。不料又有人谏阻徐圆朗，并举例说了李密杀翟让的事，这让徐圆朗又疑惑起来。
刘世彻率领手下赶到城外，满心期望徐圆朗会出来迎接，没想到徐圆朗却只是召他进见。他知道徐圆朗变卦，想要逃走，但更担心徐圆朗出兵追击，反为不妙，没办法只好入城进见。徐圆朗封刘世彻为司马，将他的部众留下，只派了几百名亲兵跟他一同到东边，招抚谯、杞两州城。东边的人听说是刘世彻招降，全都来归附，这事被徐圆朗知道，他就更加猜忌刘世彻，竟然将刘世彻召回杀了。
秦王李世民正打算攻打兖州，忽然有朝廷使臣到来，命他赶紧回京，于是，李世民就将军事交给了齐王李元吉，自己就奉旨，驾乘驿马疾行回长安，拜见高祖，李世民详细说明了攻打徐圆朗的有利条件，于是，高祖又同意攻打，大军赶到济阴，一连攻下十多个州城，在淮泗声势大振。不料，高祖又下诏书，下令李世民班师回朝。李世民不敢违抗命令，只好让淮安王李神通和行军总管李世勣留下来进攻兖州。
这时，刘黑闼已经借到突厥的兵马，又长驱南下，来攻打山东。没办法，淮安王李神通只好移兵防御，幽州总管李艺也奉诏援助。可是，刘黑闼的大军非常凶猛，再加上流亡鲜虞的旧部曹湛、董康买等人也来援助，刘黑闼先攻下了定州，接着攻下了瀛州，大唐刺史马君武被杀。李神通知道自己打不过，急忙向朝廷请求援助。高祖任命淮阳王李道玄为河北道行军总管，会同行台民部尚书史万宝一同讨伐贼兵，又命齐王李元吉作为后应。
李道玄只有十九，他年轻气盛，一边带着三万军兵直抵下博，另一面约史万宝跟过来。史万宝含糊答应，暗地里对部将说：“我奉皇上手敕，说淮阳王太小，担心他没经验，所有军事都归老夫指挥。如今，淮阳王这么轻躁妄进，如果跟他一起去，肯定会战败的。不如以淮阳王为饵敌，如果淮阳王战败了，那贼兵肯定会争着进攻，只要我严守阵地等着，还是可以攻破敌军的。”
说完，史万宝就下令军士不准轻易出击。李道玄以为史万宝会来援助，于是大胆前驱，半路被沟渠挡住去路，李道玄传令继续前进，不得拖延。他自己把缰绳一扯，两足一夹，便一跃过去。李道玄的部下不敢落后，也陆续穿越沟渠，不料刚有一半的兵士穿沟而去，刘黑闼带领大量军兵，漫山遍野地杀过来，李道玄来不及整列队伍，不免慌乱，但是既然大敌当前，也只能拼死抗敌。
说时迟，那时快，刘黑闼击鼓激励军士向前冲去，很快就把李道玄包围住。李道玄仗着勇力，左冲右突，口中大喊杀贼，但是，敌军越来越多，冲开一层，又有一层，冲开两侧，又有四五层。看到部下几乎全部杀死，自己也多处受伤，李道玄干脆从敌军最多的地方，闯将出去，杀死数十人之后，大吼一声，喷血而亡。
部众失了主帅，全都溃散，大多数人被敌军杀了。直到这时候，史万宝才整军出来。败溃的军兵纷纷往回逃窜，随后便是刘黑闼的大军，约有四、五万人，都是雄赳赳的大汉，亮晃晃的兵器，唐军看到不由地的害怕起来。史万宝下令出击，谁知，军兵不听他的命令，全都向后倒退，害得史万宝也没有主意了，只好策马往回逃。敌军乘胜追击，好似泰山压顶一般，杀了很多唐军。秦王李世民听到兵败的消息，不禁唏嘘道：“李道玄常跟我征伐，看到我深入贼阵，他自己也不顾危险，冒险出击，丢了性命。”李世民一面说，一面流涕。高祖也为李道玄悲悼，追封他为左骁卫大将军，谥号壮。
李道玄败死后，山东大为恐慌。洺州总管庐江王李瑗，弃城往西逃走，州县又归附刘黑闼，不到半个月，刘黑闼又收复了旧地，仍然占据洺州作为都城。
齐王李元吉和淮南王李神通两人都犹犹豫豫，不敢向前，高祖想要再派李世民出征，只心中却有些迟疑，于是一天一天地拖着。正好，这时，太子李建成主动请命东征，李渊顿时大喜，立即封他为山东道行军元帅，征讨刘黑闼，所有河南、河北的州县都听命于他。李建成高高兴兴地奉旨启程了。
这其中是有隐情的。原来，秦王李世民多次立奇功，被封为天策上将，位居其他王公之上，并开府置官。李世民延揽文豪，一共得了十八人，全都封为文学馆学士。这十八人是：杜陵人杜如晦、临淄人房玄龄、余姚人虞世南、钱塘人褚亮、万年人姚思廉、陇西人李元道、江陵人蔡允恭、汾阴人薛收、薛元敬（薛收侄子）、万年人颜相时、武功人苏勖、高陵人于志宁、武功人苏世长、赵州人李守素、苏州人陆德明、衡水人孔颖达、信都人盖文达、新城人许敬宗。这十八个学士分为三班，轮流值班。李世民空闲时就来馆中讨论文籍，彻夜不眠，又让阎立本画像，褚亮作赞，当时人称“十八学士登瀛洲”，说的就是这段故事。
太子李建成和齐王李元吉心里嫉妒李世民。因为高祖起兵时，曾想要立李世民为太子，但李世民一再推辞，这才立李建成为太子。李建成沉迷酒色，又好游猎，李元吉比他哥哥更过之，高祖多次训斥他们，并且有另立太子的意思。李建成非常恐惧，就和李元吉密谋加害李世民。
高祖晚年有很多妃子，这些妃嫔生了很多儿子，总计不少于二十人。其中的张、尹二妃，就是早先晋阳宫内的两个美女，她们妖柔善媚，深得高祖欢心。尹德妃生了个儿子叫元亨，封为酆王；张婕妤生个儿子叫元方，封为周王。李建成和李元吉经常讨好后宫妃嫔，经常往来馈赠，对尹张二妃更是曲意奉承，无微不至。只有李世民不屑结交后宫的人，就是遇着二妃，也不过作个揖，所以，后宫妃嫔都称赞李建成和李元吉，不喜欢李世民。
张、尹二妃更是整天在高祖枕边说李世民的坏话，称赞李建成和李元吉仁孝，于是，高祖渐渐地亲近李建成和李元吉，越来越疏远李世民了。就是在李世民东征徐圆朗时，高祖一会儿召回一会儿派走，无非是怀疑的缘故。
另外，太子中允王珪和洗马魏征也担心李世民功高，会夺了太子之位，于是，二人劝李建成道：“秦王功盖天下，天下归心，殿下只是长子，才被立为太子，此时不立大功，恐怕日后不能镇服海内。如今，刘黑闼劫后余生，又占据山东，跟随者不多，人心还没定，殿下可主动请战出征。这样殿下一来可以扫平残贼，取得功名，二来可以结识山东英雄作为指臂，这样您的太子之位就安稳了。”
李建成听了他们的建议请求出征，魏征等人跟着一起去。路上接连传来相州、桓州被攻陷的消息，李建成有些害怕了。幸好，魏州总管田留安传来捷报，说已经击破刘黑闼，擒住了莘州刺史孟柱，还收降了敌军六千人，李建成这才放心前行。路上，齐王李元吉率军会和李建成，大军向魏州进发。这时，山东州县大部分已经投降了刘黑闼，只有田留安一直对大唐忠心耿耿，没有叛变。他曾对部众说：“我和你们一样，都是为国杀贼，应该同心协力，如果你们谁想投降，可以砍了我的脑袋去求取富贵。”军兵听了这话，全都很感动，誓死跟随。当时，田留安军中有一个刘黑闼旧党，名叫苑竹林，想要叛变，被田留安察觉后，好言相劝，还委托他掌管仓库。苑竹林因此非常感激，愿意效力。刘黑闼多次攻打田留安，都被田留安击败了。
李建成和李元吉来到昌乐，刘黑闼随即引兵来攻，两军相持。魏征对李建成说：“之前打败刘黑闼后，所有贼将都被我军处死，他们的妻儿、老小也都被抓了。剩下的贼兵没了念头，所以才尽心为刘黑闼效力。现在，我们可以把他们的亲人都放了，让那些贼兵看到希望，那么他们就不会再追随刘黑闼，自投死路了。这样敌军的军心就会离散，刘黑闼也无计可施。”
李建成立即按照魏征的建议去做，果然，刘黑闼的部下渐渐离去。再加上粮食紧张，不能再支持，于是，刘黑闼连夜逃走，来到馆陶永济桥。当时桥还没有建好，没能渡过去。李建成和李元吉率领的大军从后追赶，快要到桥边，刘黑闼命令王小胡背水迎战，自己指挥军兵火速造桥。桥还没完全建好，刘黑闼就慌忙催马逃走，军兵大乱，多半放下武器投降唐军。唐军过桥追击刘黑闼，才过了一千人，桥就忽然崩坏，就这样，刘黑闼带着几百名骑兵逃跑了。
李建成收军回营，派骑将刘弘基率领一万兵马，追击刘黑闼。刘黑闼日夜奔走，不敢休息。逃到饶阳时，手下只有一百多人，全都饥饿难耐。饶州刺史葛德威开城迎接，刘黑闼本来不想进城，但是经不住葛德威再三邀请，就进了城。而且，葛德威给他们安排了酒菜，刘黑闼非常高兴，当即狼吞虎咽，大喝大吃起来，正在兴高采烈的时候，葛德威引兵到来，一声大喝，把刘黑闼等人团团围住，全都拿下，送到李建成的大营。李建成本来打算把他们押到长安，又担心路上被人打劫，于是将刘黑闼等人全都在洺州就地正法。刘黑闼临刑前感叹道：“我本来在家锄菜，被高雅贤等人所骗，招来杀身之祸，真是后悔啊！”刘黑闼一死，徐圆朗非常害怕，淮安王李神通和李世勣合兵进攻他，没办法，徐圆朗只好硬着头皮出城，但是屡战屡败，于是，徐圆朗弃城连夜逃跑，逃到半路被野人杀死。
唐军又进军攻打高开道，谁知，高开道被部将张金树杀死，张金树带着高的首级投降了唐军，朝廷有诏，封张金树为北燕州都督，东北一带，就此都被剿平了。总计刘黑闼称帝三年，徐圆朗称帝三年，高开道称帝六年，都只是烛火微光，很快都被消灭了。
李艺和杜伏威因为惧怕大唐的威势，于是先后入朝称臣。高祖封李艺为左翊卫大将军，封杜伏威为太子少保，兼行台尚书令，都暂时留在京师。
杜伏威一直跟辅公祏关系很好，两人亲如兄弟，军兵都称辅公祏为伯父，像敬畏杜伏威一样敬畏他。后来，大唐封杜伏威为吴王，辅公祏也被封为舒国公。杜伏威封养子阚稜为左将军，王雄诞为右将军，提升辅公祏为仆射，表面上是尊重辅公祏，实际上是夺了他的兵权，并让两个养子在他旁边监视。辅公祏知道杜伏威的意思，于是也借口要学道辟谷，韬光养晦起来。杜伏威进京后，把辅公祏留在丹阳，并委任王雄诞掌握兵权，秘密嘱咐王雄诞道：“我到长安后，如果不被降职，你一定要提防辅公祏兵变。”王雄诞答应。哪知杜伏威一走，辅公祏就想起兵举事。这时候，王雄诞正生病，辅公祏一边伪造杜伏威书信，声称杜伏威让自己代掌兵权；一边让自己的亲信西门君仪，煽动王雄诞，帮助自己造反。
王雄诞听到自己兵权被夺，正在怀疑杜伏威食言，直到西门君仪来与他商议，才知道中了辅公祏的奸计。王雄诞从床上一跃而起，说道：“天下刚刚平定，吴王又在京师，大唐所向无敌，为什么要突然造反，自取灭亡呢？我王雄诞今天要是依从你们，也不过多活一百天罢了。大丈夫怎么可以偷生惜死，自陷不义呢？你去告诉辅公祏，恕难从命。”西门君仪回去告诉了辅公祏，辅公祏马上发兵到王雄诞家中，将王雄诞拿下，用生娟勒死了。
之后，辅公祏又谎称杜伏威回不来了，还写信让丹阳大军向北攻打。于是，辅公祏大造铠甲武器，储备粮草，自称宋帝，派部将徐绍宗出击海州，陈正通出击寿阳，并封故人左游仙为兵部尚书，兼越州总管，处理军务。
听说辅公祏兵变，唐高祖下诏，命赵郡王李孝恭率领水军，开赴江州，岭南道大使李靖带领交、广、泉、桂等州兵力开赴宣州，怀州总管黄君汉取道谯州、亳州，齐州总管李世勣取道淮水、泗水，四路会兵，共同讨伐辅公祏。启程之前，李孝恭和将士们摆宴誓师，命令手下取水，水忽然变成了血色，将士们都很惊讶。李孝恭却谈笑自如，对他们说：“这是辅公祏要被杀的预兆，是件好事，有什么好怕的？”随即，李孝恭调集战舰，即日出发。路上听说黄州总管周法明被洪州总管张善安杀害，李孝恭不禁失声道：“张善安也叛变了吗？盗心不改，真是让人担忧啊！”后来又接到捷报，说是安抚使李大亮已经成功诱捕张善安，并将他送往长安。李孝恭又高兴地对将士们说：“辅公祏已经失去右臂，我们可以不用太担心了。”
随即，李孝恭率军火速出击，连破辅公祏守兵，一举拿下鹊头镇，接着又攻下梁山等三镇。辅公祏派部将冯慧亮、陈当世等人率领三万水军坚守博望山，又派陈正通和徐绍宗，率领三万步兵，坚守青林山，把梁山下面的江路用铁链锁住，阻截往来的船只，并在两岸筑起壁垒，形成巨大的屏障。李孝恭和李靖率军进攻舒州，李世勣率步兵穿过淮水，接连攻下寿阳、硖石，冯慧亮等人坚守城池不迎战。李孝恭派精兵截断了他的粮道，敌军缺粮，于是连夜偷袭李孝恭的军营。谁知李孝恭早就有所准备，敌军吃了闭门羹，只好返回。
第二天，李孝恭召集将士们商议，众将都说：“冯慧亮等人拥兵据险，急攻不一定能攻得下来，我军不如绕道丹阳，捣他的巢穴。丹阳一破，冯慧亮等人还不乖乖投降？”李孝恭正打算按照众将的意思去做，李靖却劝阻道：“辅公祏的精兵虽然大部分在这里，但是他老家丹阳的军兵也是很强的，如今博望的各个敌营尚且不能攻克，辅公祏凭借丹阳自保，难道就容易攻下吗？如果我军进攻丹阳，十天半月攻不下，冯慧亮等人从我们后面截击，到时候我军腹背受敌，岂不是更危险吗？依我之意，冯慧亮等人都是身经百战，他们并不是不想出战，现在拖着我们只是辅公祏的计策，目的就是想让我军久攻疲惫，趁我军松懈的时候来攻打我们。我们不如先用老弱残兵来引诱他们出战，然后再派精兵猛攻，这样肯定能一举扫平敌军。”
说到这里，杜伏威的部将阚稜赶到，李孝恭连忙派人请他进来。原来，阚稜跟着杜伏威一同入朝，被封为越州都督，杜伏威在京城病死后，高祖就任命他安抚以前的旧部，来帮助唐军讨伐辅公祏。
李孝恭看到阚稜前来，非常高兴，立即命令一队老弱残兵，假装攻打敌军壁垒，自己带领精兵列阵，在后面等待出击。果然，陈正通等人出兵追来，才追了一里多地就遇上了李孝恭的大军。陈正通等知道中计，但是也只好硬着头皮交战，忽然，阚稜从唐军中冲出来，脱下头盔对敌军喊道：“你们都不认识我了吗？敢和我交战。”敌军大部分是阚稜的旧部，自然倒退，有的甚至俯身下拜。唐军趁势杀出，奋力向前，陈正通等人还想拦截，无奈部众已经没有斗志，纷纷逃走，任凭陈正通再怎么骁悍，也是只能是败退下去。
李孝恭和李靖乘胜追击了几十里，杀了很多敌军。博望、青林两城的守军也全都逃跑了。李靖随即率军进攻丹阳，吓得辅公祏胆战心惊，没心思坚守，于是偷偷地带着家属和几千军兵，从后门溜出，狼狈地逃走了。
