八月六日，胡以晃的部队企图从裕溪河进入无为州，知州林兰率部到无为以北的仓头迎击，获悉裕溪河的敌船全部撤走，驶向仓头以北的东关。林兰刚刚松了一口气，忽然得报：敌船从长江驶入泥汊口，威胁无为州城。林兰令仓头团练集结，保卫乡梓，自己率部向泥汊前进。第二天，走到距泥汊十多里之处，忽然遭遇枪炮射击，林兰下令还击，双方各有伤亡。林兰追到长江口，突闻东关敌船回扑州城，仓头守军兵力单薄，支撑不住，城内民勇惊散，敌军乘乱而入，州城失守。林兰等不到外援，召募乡勇攻夺州城，胡以晃也不抵抗，驾船撤离。林兰进城安抚百姓。
紧接着，巢县又发现敌船多艘停泊在黄洛河内，窥伺东关。八月十三日，太平军的十多艘战船突入神塘埠，黄元吉率部抵抗，烧毁敌船四艘。太平军集结一千多人，从陆路抵达太平岭，距巢县只有五十里。
八月二十二日夜间到第二天午间，太平军船队的六百多艘船只陆续停泊在安庆城外，胡以晃率领五六千人乘夜进城，不许百姓逃避，又到北门外各村庄征集人畜，在黄花亭和马山两处建筑土城。胡以晃下令在准提庵修筑土墙，截断大路，北门城楼安置枪炮，各城添筑望楼，城墙增高五尺。胡以晃在安庆屯兵，集贤关已经岌岌可危。
胡以晃此次进攻安庆，是太平军对安徽省会的第三次攻击。他这次一来就不打算走了。他下令在城内添造刀矛，把妇女老弱赶到城外修筑迎江寺围墙炮台，派船分往上下游征集物资。
太平军不断从金陵和扬州突围而出，向荣与琦善负有不可推卸的责任。琦善不再隐瞒实情，向咸丰奏报：不时有小股太平军企图从扬州突围。咸丰狠狠地批示：
东路欲窜，早在意中，琦善断不能辞责。赛尚阿一误之后，再误者琦善也。琦善老而无志，如再不知愧奋，朕必用从前赐赛尚阿之遏必隆刀将汝正法。
九月二日，太平军船队闯入黄洛河，李登洲令部队用枪炮射击，颇有杀伤。但铅药很快用尽，官军寡不敌众，退守芙蓉岭，死伤二百多人。李鸿章和张印塘报告，九月三日有敌船一千多艘拥进东关，经玉山和王正谊派富惠、辛本栴、黄元吉各带兵勇力御，众寡不敌，东关失守。
满人露脸只是昙花一现
太平军在湖北、江西、安徽、江苏四省进行攻击的时候，林凤祥也在对河南的怀庆府城发起激烈的攻势。官军的总指挥讷尔经额见兵力已经集结，决定反击林凤祥的围城部队，争取为怀庆城解围。
七月二十八日，讷尔经额令托明阿、奕经、杨霈率部渡过丹河，直扑林凤祥的营垒。林凤祥派四路人马迎敌。官军分作五路，其中四路攻击出营的太平军，一路从中直冲木栅。讷尔经额又令吉林与黑龙江骑兵从两侧包抄，攻入木栅，用炸炮轰击。太平军猝不及防，自相惊扰，旗帜被官军夺去，木栅都被拆毁，火器也被扔进河中。一时烈焰飞腾，木栅房屋焚烧几尽。营内的太平军冒火冲烟，奋力死斗，与官军短兵相接，伤亡惨重。
在栅外迎敌的太平军见栅内火起，归路已断，纷纷撤退。官军在追击中歼敌五六百名。托明阿、胜保、善禄移营紧逼敌垒，昼夜攻击，并张贴告示，动摇太平军的军心，用反间计促使几百人投降。太平军俘虏供称，在七月二十二日的战斗中，林凤祥和李开芳已被炮伤，太平军人心浮动，仍然在府城东南角挖掘地道，企图攻入城内。讷尔经额当即秘密派人进城，令守军严加防范。
这时恩华和舒兴阿将火箭等武器送到，胜保也于七月二十八日选派敢死队暗扑敌垒，炸炮、竹炮、喷筒火箭一齐射击，部队随进随攻，击毙太平军几百人。西凌阿、明庆、双成、乌凌额等带领骑兵追击溃散的太平军，俘虏四十多人。官军纵火焚烧敌垒，城内守军也派兵下城助战，郝光甲和乌勒欣泰各自率部接应，四面围攻。据讷尔经额统计，此战歼灭太平军二千多人，缴获大批枪炮、旗帜、器械和骡马。
林凤祥损失惨重，立即撤围，向西而去。官军在城外搜捕残余的太平军，一面运送米粮接济城内民食。托明阿、胜保和善禄入城安抚，讷尔经额和恩华随后进城，抚恤坚守怀庆长达两个月的守军和百姓。
官军主力没有及时跟追林凤祥，只派副都统托云保分带骑兵和步兵跟踪追击。胜保的部队疲惫已极，进城休整之后才拔营追赶。讷尔经额通知山西巡抚哈芬、河南巡抚陆应毂和黄河大臣长臻、太常寺卿王履谦，以及驻扎孟津渡的副将珠克登阿，令他们严密堵截，不使一名敌军漏网。
讷尔经额出任钦差大臣后，打了一个大胜仗，咸丰皇帝大为高兴，这一仗总算给满人露了脸。咸丰赏给他双眼花翎和黄马褂，赏恩华和托明阿穿黄马褂，还给了托明阿一个“西林巴图鲁”的名号。胜保被赏了都统衔，并赏穿黄马褂，给予“霍銮巴图鲁”名号。善禄赏戴花翎，赏给“斐里巴图鲁”名号。西凌阿在浦口不战而逃的罪行也得到赦免，官复原职，仍然当他的都统，还赏戴花翎，以示嘉奖。怀庆府的文武官员也各有加官晋职。连军机大臣祁俊藻、麟魁、邵灿、彭蕴章、穆荫都沾了光，赏加军功一级，兵部捷报处郎中保成由于递送捷报有功，赏加军功一级。其余参与军机事务的京中小官，也跟着得了奖赏。
咸丰还大肆为满人大臣吹牛，说此次怀庆解围，逆匪歼除殆尽，黄河南北生民重登衽席，军威大振，不难水陆并下，直抵江南。他还借此机会敲打琦善和向荣：你们各统重兵攻围金陵和扬州，已经围了几个月，还是守株待兔，毫无战功。如果你们一定要等到北方的官军南下助剿，才能打胜，难道不会汗颜？
咸丰这一次真是滥施奖赏，可见他是多么渴望满人臣子们能给他挣点脸面。汉人官员打了胜仗，他决不会如此大方。但是他很快就发现，他慷慨奖赏的这些满人臣子，还是无法为他挑起保卫江山的重担。
怀庆这一场胜仗并非决定性的大捷，山西布政使郭梦龄的奏报不久抵达京城，力称林凤祥和李开芳仍然具有很强的战斗力。
八月一日，林凤祥部抵达济源县境内的封门口，第二天就从河南跨入了山西，包围了垣曲县城。此城有几百名山西兵驻扎，知县晏宗望下令关闭城门，但都司玉恒与代理都司景亮指挥的守军，还没见到太平军就已溃散。南门尚未关闭，太平军就从这里进了城，将晏宗望斩杀，河东道张锡蕃也未能逃脱一死。官军未能守住垣曲城，本可退守横岭关，好歹阻截一阵，但两名指挥官都未尽力。林凤祥兵不血刃地进入县城，并不停留，令部队继续北上，顺利地越过横岭关，直奔绛县。
胜保于八月三日才抵达封门山口，遭到林凤祥后卫部队的炮击。此处两山对峙，道路狭窄，只容一马通过。胜保令部队分头从樵路包抄而上，太平军弃关撤走。
胜保令副都统松玉等带领骑兵和步兵跟踪追赶，抵达王屋镇和邵原镇一带。八月五日，他们追过垣曲几十里，此时胜保才进入垣曲县城。林凤祥军行神速，此日已从绛县北上到曲沃县境内，逼近平阳府城，也就是现在所说的临汾。府城内只有二百多名官军，关闭城门防守。
这时候，郝光甲率另一路官军从泽州翻山驰赴垣曲和绛县一带，胜保还在垣曲，两路官军都落后了一大截。虽然平阳距离省城太原还有五百里之遥，但山西大员们已经感到了危机。巡抚哈芬决定在太原以南的灵石县韩侯岭天险集结兵力，扼要据守。
八月六日，胜保督兵尾追至横岭关。这座山险峻异常，最易守御，越过此山即入平原。胜保原以为此处必有山西军队防守，他到来之后，前后夹击，可将林凤祥部一举歼灭。但是山西官军没有在此设防，林凤祥早已从这里通过。
胜保虽未追上林凤祥，却已赶上了他的后卫部队。据他奏称，他斩杀了长发太平军三四百名。林凤祥发现追兵已经不远，加快行军，沿途征集羸马，更换行走。这一来，胜保的部队疲于奔命，无处休息，还得忍受饥饿，因为沿途的粮食已被太平军搜尽，官军无可觅食。胜保来到绛县，不见一名地方官，听说林凤祥又前往曲沃了。很快接到探报，曲沃城内有人接应太平军，杀死知县典史。太平军在城内四处放火，官军赶到后，胜保一面安民救火，一面令骑兵追赶，步兵随后开拔。不料林凤祥在城外留下了二千多人打阻击，付出了两百多人牺牲的代价，将官军阻截了一阵，然后向西撤走。官军追杀十多里，天色已晚，胜保下令扎营暂歇。
官军正在调集兵力，林凤祥于八月十日在平阳府东西南三门放火攻城。北面六十里处的洪洞县内人心惶惶，百姓全部逃散。
咸丰刚刚表彰了一批官员，不得不再次举起惩罚的棒子。八月十六日，他降旨将哈芬革职拿问，解京治罪，同时将丢失城池的一批知府和知县革职拿问。讷尔经额刚刚获赏的黄马褂，又被咸丰勒令脱下了。咸丰将恒春补授山西巡抚，在他到任前，由郭梦龄暂行代理。
太平军抵达平阳时，府城内没有守军，知府和知县督率百姓守城，哪里挡得住太平军凌厉的攻势，府城当即失守。胜保赶到时，城头已插上太平天国的旗帜。
胜保将善禄召到帐内，屏退左右，说道：“你去通知西凌阿，令他连夜绕到府城以北扼要设伏，杜绝逆贼北进之路。此为绝密行动，不得泄漏！”
胜保自以为出敌不意，抢了先着，其实他晚了一步。林凤祥警惕性很高，料到官军会派兵北进，已在东关列队，阻挡官军北进之路。西凌阿遇到阻击，策马砍杀，将太平军冲为两段。太平军一半撤回平阳，其余向北撤去。西凌阿没有穷追，下令收兵。
此战以后，胜保推测太平军抵达平阳时兵力已得到补充，从五千人增至一万多人。抓到的长发俘虏供称，林凤祥打算从山西乘虚直攻北京，沿途攻破城池，不愿据守，补充给养后立即北进。胜保据此得出一个可以偷懒的理由：如果追踪太急，前方官军来不及调集兵力拦阻，若被敌军闯过了韩侯岭，近扰京畿，大局不堪设想。
这时候，郝光甲赶到了平阳，胜保兵力增强。他又跟善禄密商：“逆贼已有一部北进洪洞，我等须得先将此股逆贼拦头截住，方能确保京城的安全。”
善禄道：“何不让郝光甲率所部二千人，加上托云保的三百多名吉林骑兵，王定坤的一千一百多名步兵，堵截平阳城内的敌军，我跟胜大人乘夜督率骑兵前往洪洞？”
当下计议已定，胜保把平阳交给郝光甲等人，自己与善禄于八月十三日驰抵洪洞。前方来报：太平军正在排队出城，企图北进。胜保当即令骑兵绕到洪洞北关大路扼要截击，又令步兵从东面夹攻。
洪洞的太平军没料到官军来得这么快，决定撤回城内，紧闭城门，等待平阳部队的增援。这时胜保已经绕到太平军北面，颇为得意，立即在城北十五里的上纪落镇扎营扼守，并分派兵力扼守小路要口，堵住了太平军向东向北突进的道路。
