一、日军打通平汉线
与日军调兵遣将、周密部署形成鲜明对比的是，这一时期国民党军队的素质低下，战斗力急剧下降。战前训练的精锐部队在抗战前期就损失一多半，1929年至1937年从中央军校毕业的军官约有25000人，但至1938年初就有约10000军官战死沙场。[11]至1944年初，从编制上看，国民党军队虽有340余步（骑）兵师，总人数达650万之多，但实际能够投入作战的部队并不多。抗战后期在美国援助下编练成的精锐部队，大多集中在大西南和缅北、印度，其中驻印军3个师全部美式装备，在云南的6个师为半美式化，分别称为“X部队”和“Y部队”；另有第8战区胡宗南的数十万精锐部队一直布置在大西北，用于围困中共的陕甘宁边区。而在广阔的华北、华中及华南战场上，却无多少机动兵力可调。
在河南等处布防的第1战区部队，主力由战区副司令长官汤恩伯统率，而司令长官蒋鼎文并无实权。担任河防和正面防御任务的计有第4、第14、第15、第19、第36、第39、第28等7个集团军，共18个军，约30万人。进入1944年后，由于黄河北岸的日军调动过于频繁，特别是日军工兵部队忙于修复中断6年之久的黄河铁桥，第1战区据此判断日军会有大规模的作战行动，可能要南下打通平汉线，因而也相应采取了一些应付措施。3月中旬以后，蒋介石连电第1战区，要求其部署在嵩山附近与敌决战。14日，该战区制定出具体方案。18日，第1战区长官部又根据军令部颁发的较为详细的“平汉线作战计划”，进一步准备在禹县、密县、许昌、漯河地区同日军决战。其总兵力有43个师，其中29个师担任豫南、豫北广大地区的防守任务；14个师为机动兵团，隐蔽于临汝、登丰、禹县、襄城、宝丰、叶县地区，协助防守部队侧击和包围侵入嵩山一带的日军。[12]这一作战计划是战区长官部根据以往大兵团的作战经验制订的，这次面对数量庞大的日军以迂回穿插为特点的攻势战略，并未起到任何作用。
4月17日午夜时分，日军终于发动了酝酿已久的“一号作战”。第37师团主力一部3000余人，携炮20余门渡过黄河，次日拂晓就已迂回深入到中国河防部队的后方，顺利占领中牟县城，并分兵两路，从西南和东南向中国军队河防阵地发动进攻。担任中牟及其附近地区河防任务的为暂编第27师，该师成立不久，“缺额既多，装备尤劣，即步枪堪用者亦不足三分之一”。[13]所辖三个团仅有3000余人，迫击炮1至2门，机枪5挺[14]，加之防区地处平原，无险可守，且沙质土地亦无法构筑工事，以这样的弱旅来阻击日军精锐部队的攻击，绝无可能。尽管第1、第3两团在正面抵抗了8小时之久，但阵地还是被日军攻破，数千日军渡过黄河。18日中午，日军工兵在黄河上架起轻便桥梁，日军大队人马源源不断地开过了黄河。
在日军渡河立足未稳之际，暂编第15军军长刘昌义曾亲率两营步兵袭击敌之侧背，并命令暂编第27师、军部直属部队及新编第29师第86团发动反攻，但仅凭借迫击炮和手榴弹的有限杀伤，终未能扭转中国军队在战场上的劣势。
19日拂晓，日军第110师团又在邙山头发起攻势。在大炮、飞机和毒气的联合攻击下，守军吴绍周第85军所属预备第11师伤亡惨重。次日拂晓，6000余名日军在数十门大炮和四十余架飞机的掩护下，对预11师在摩旗顶的阵地进行了数十次的俯冲轰炸，并最终攻陷之。摩旗顶高地被攻占后，中方丢失了河防的制高点，而日军则以强大的火力配合，又进一步撕开了中国军队的黄河防线。
日军主力渡过黄河后，分路南侵。18日晚8时，日军第37师团步兵第22联队派遣一支由300人组成的先遣挺进队向郑州急行军，于次日黎明抵达郑州车站，用绳索登上郑州城墙，向守军发动突袭，并迅速占领北门。[15]守卫郑州的中国军队计有第85军第110师一部及第78军属下的3个团，但仅抵抗了一个小时就告溃退，连接平汉和陇海两大铁路的重镇郑州遂于20日下午丢失。
20日，另一部日军进抵和尚桥，切断了新郑和许昌的交通。次日，3000余日军在飞机大炮的掩护下进攻新郑，守军赖汝雄第78军新编第42师之第125团与敌血战3小时，士兵伤亡过半，连长以上军官阵亡9名，新郑遂于当天下午失陷。
此后，日军在接连攻下尉氏、郑县、洧川、长葛、荥阳、崔庙等地之后，即将攻击的主要目标放在密县，以图打破中国军队集结兵力反攻或侧击的支撑点，另将一部主力集结于新郑一带，以便进一步南攻许昌。而中国军队在经历了连续失败后也作了重新集结和部署：汤恩伯将所部主力分成南北两个兵团。南兵团以李仙洲为指挥官，统辖部队以第12、第29军为主力；北兵团以王仲廉为指挥官，指挥第13、第85军，准备“以有力之钳形态势包围由中牟及邙头山两方面之敌于许昌、襄城、禹县、密县间地区而歼灭之”。[16]这一作战计划是4月22日制订的，但次日夜间，密县县城就在日军主力部队15000余人的夹击下失陷。
至此，日军主力已在黄河南岸郑州至新郑、密县一带集结，战车第3师团、独立战车第2联队和骑兵旅团也源源不断地渡河，增强了日军的战力。从25日起，日军继续南侵。29日，日军第37、第62、第27师团及独立混成第7旅团所部10000余人，在150多辆战车和汽车的配合下完成了对许昌城的包围，随即开始攻打许昌附近各据点。激战至30日晨，许昌已陷入重围。第1战区所部新29师、新42师、第29军、第193师、第20师、第91师各部与攻城日军展开激战，其中第20师和新42师伤亡逾半，但给日军以较大杀伤。日军以飞机、大炮和坦克的协同作战猛攻许昌，中方担任守城的为新编第29师一部两千余人，经过顽强抵抗以后，该师电台被毁，对外通讯断绝，工事亦多毁坏。5月1日，许昌失陷，师长吕公良阵亡，团长以下军官伤亡三分之二以上。[17]
许昌的失陷，不仅使中方失去了对豫中平原中心地区和水陆交通枢纽的控制，更重要的是彻底打破了汤恩伯侧击日军的计划。据蒋介石“守许昌之师，应尽力支持，以吸引、牵制敌之兵力”的指示[18]，汤恩伯急令李仙洲率第28集团军两个军约1万人向襄城、禹县方面移动，攻击日军的侧翼。但这支机动部队同样被日军打垮，在颖桥争夺战中，日军动用了步骑七八千人，火炮20多门，汽车200余辆和坦克25辆，李仙洲部终于不支后退。这样一来，汤恩伯的侧击计划亦告失败。
5月1日，蒋介石指示汤恩伯兵团：“应集中全力（第12军、第13军、第29军、第85军、暂15军、第78军等）使用于禹县附近，与敌决战”。汤恩伯遂于次日开始重新调配部队：（一）南兵团方面：第12军长贺粹之指挥暂55、第81师集结于郏县、宝丰地区；第87军长赖汝雄指挥第22师、新43师向襄城推进；第89军长顾锡九率领新1师、骑2师集结于漯河、郾城；第22师仍在颖桥拒止进犯之敌。（二）北兵团方面：石觉第13军主力集结于白沙、告成地区；吴绍周第85军将登封、临汝阵地的守备任务交韩锡侯第9军接替后，集结登封；马励武第29军固守禹县，新编第29师固守许昌。[19]
中方战略上的这一变更，迫使日军也修改了其作战计划。日军原来的战略设想，是在攻占郾城后以主力向右实行大迂回，包围并歼灭第1战区汤恩伯的主力部队。中方部署改变以后，日华北方面军参谋部认为：“此种情况对于日第12军由郾城迂回，肯定不能形成有利的战略形势。为了迅速控制登封附近重庆军主力的退路——临汝平地，必须将第12军主力集中指向该方向，方能围歼第13军为中心的汤军主力。因此，第12军攻下许昌，即应迅速向右迂回”。[20]自5月1日起，日方第12军主力便以许昌为轴心开始面向西北的大迂回攻势。同时，日方又派第27师团和第37师团的部分兵力继续南下，目标首先指向郾城，以图最终打通平汉线。与此次作战相呼应，中国派遣军又“派第11军的部分兵力，由信阳方面北上，同时为了起牵制作用，命第13军部分兵力由蚌埠方面沿新黄河的泛区西岸，向颍州（阜阳）方面进行作战。铁道部队应于打通作战结束后，由南北两方面开始修复作业”。[21]
守卫郾城的中方军队为第89军的新1师，城东周家口附近有何柱国第15集团军所辖的骑兵第3师。5月2日，四五千名日军在伪军和4架飞机及20余门大炮的配合下发起攻击。甫一接触，骑3师即阵亡连长以上军官40多人。次日，新1师守卫郾城以北三里庙的一连官兵全部战死。4日，日军开始以炮火攻城，新1师第3团副团长牺牲。5日中午，日军冲进东关，随即占领全城。是役，日军伤亡150人，伪军数百，守军官兵伤亡及被俘者自副军长、参谋长以下500余人。[22]
在平汉路以东地区，为配合平汉路正面的进攻，日军第13军将司令部由上海移到蚌埠，同时令第65师团配备兵力发动进攻，以牵制平汉路东的陈大庆第19集团军及何柱国第15集团军所部，打击的重点是前者。4月24日，日军首先由安徽寿县方面沿淮河西进，发动攻击，前后投入的兵力为两个步兵独立大队计3000余人，骑兵300余，伪军数千人也加入了战斗行列，另有飞机、汽船和山炮配置。中方迎击部队为廖运泽骑兵第2军（欠骑3师）、骑3师（欠一团）、暂30师（欠一团）及一些地方武装，以廖运泽为指挥官。与日军首先交火的是一些地方部队，虽也予日军一定杀伤，但战斗力十分有限，日军遂长驱直入。27日，马步康率骑8师3个团兵力分左右两翼攻击当面之敌，但在敌飞机和大炮的攻击下，骑兵阵势大乱，损失惨重，颍上等重镇亦告丢失。此后，骑8师多次与日军交战，双方损失数以百计，其中尤以十八里铺等地的战斗最为激烈。5月2日，日军以步兵1500余人分3路进攻，中国守军阵地全部被毁，被迫弃守。下午起，骑8师组织反攻，复又夺回，但旋即再度告失。5日上午，日军沿沙河右岸和阜（阳）颍（上）公路同时西犯，骑8师副师长卢广伟战死，中方被迫退出战场。日军继续西犯，并与其他中国军队有小规模战事发生。郾城等地既已占领，作战目的达到，这支日军便于7日停止攻击而开始后撤。
事实上，这些日军的牵制作用并“无多大效果”，中国派遣军总司令畑俊六在日记中记载：“这是由于新四军在淮阴地区的积极活动大大牵制了我军的结果。”[23]
在平汉路正面，攻下郾城的日军以第27师团为主力继续南下，当晚攻下遂平，此后再未遇到抵抗，9日与信阳方面北上的一支日军在确山会师，最终完成了打通平汉线的计划。
二、洛阳守城战
以围歼汤恩伯军主力为目标的日军第12军主力，在攻占许昌后即开始向西迂回，攻击目标指向郏县地区，首当其冲的是禹县和襄城。
攻击禹县之敌以第62师团为主力。5月2日夜，日军主力对禹县进行了包围攻击，守军为马励武第29军所属第91、第193师和顾锡九第89军所属第20师所部3万余人，他们在无量庙、蜘蛛山（禹县北卅里）、楚河铺、郭濂街一线以迫击炮等火力猛烈狙击日军。“楚河铺敌四五千，战车十余辆，炮十余门；郭濂街敌三四千，战车八辆，炮八门；无量庙敌二三千，共敌万余，战车二十余辆，会攻禹县”。[24]中国守军的山地防御阵地丧失后，又利用村庄的土墙顽强抵抗，最终不敌日军炽烈的炮火。在万余日军和20多辆战车的攻击下，禹县于5月3日失守。这就打破了汤恩伯军要在禹县一带与敌决战的计划。
同时，日军独立混成第7旅团主力和第37师团一部于对汤军南兵团据守的襄城一带实施猛攻。5月2日，“敌七八千，战车二十五辆，炮二十门，向我襄城猛攻。”4日凌晨，日军占领该城。[25]
在攻打禹县的同时，日军坦克第3师团进攻郏县，“敌战车七八十辆，至午增至百余辆，与我第八十一师激战”。[26]为了缓解郏县的压力，第29军一部，新编43师和暂编55师先后从东北、东南和西南三面出击，以策应守城部队，但日机10余架飞来轰炸，第81师伤亡惨重，当晚向宝丰一线退却。次日晨，日军占领郏县。
5月2日晚，日军第110师团由密县出发，意图对驻守登封附近的石觉第13军发起攻击。[27]华北日军指挥官认为“登封设有汤军的核心第31集团军司令王仲廉的司令部，在登封附近集结北兵团部队7万人”。[28]但刘戡兵团第9军已于5月3日全面接替登封防务，第31集团军总部和第13军以及第89军均撤往山区。[29]从5月4日开始，第110师团向韩村、于村、石羊关（大金店东、白沙西北）等外围阵地猛攻，并占领告成。
占领郏县后，日军除坦克第3师团外，第37师团主力、骑兵第4旅团都加入向宝丰、临汝平地攻击行动。5月3日，汤恩伯曾计划以有力部队在临汝附近与敌决战，“着第47师、第85军、第13军担任临汝方面守备”，第89军亦以主力开临汝。但只有第85军于夜间到达了临汝以北的山地，余“均未实现”。[30]次日，日军以正面牵制，迂回侧背的战术占领临汝城。汤恩伯的临汝决战计划不仅又告落空，而且其所部主力第13、第29、第85军等部约60000人亦被包围在东西（禹城—临汝）60公里，南北（登封北侧—郏县）70公里，外围约180公里的狭小地域内。只是由于伏牛山起伏的山峦使日军机械化部队运动不便，才避免了被围歼的厄运。
攻占临汝的日军坦克部队，为了不给中方军队以喘息的时间，继续沿临汝镇—白沙—龙门街—洛阳的路线疾进。突破各次抵抗之后，于5日开始兵分3路实施攻击：“一路千余，战车及装甲车百五六十辆，犯我东龙门山之杨沟寨，迄七〇五〇高地之线。一路五千余，战车六十余辆，犯我西龙门山。另一路步、骑兵千余，战车三十余辆，渡过伊河西岸”。在刘戡指挥下，中国军队的抵抗较为顽强，经过3次白刃战后，日军伤亡惨重，战车被毁数十辆。7日拂晓，第85师在龙门方面突然发起反击，克复了7050高地。日军旋即反攻，在重炮和飞机轰炸下，“7050高地尽被轰毁”。[31]杨沟寨阵地失陷后，该师派百余名敢死队争夺，最后伤亡殆尽。当天，该师长被炸伤，两名团长相继失踪，步兵仅剩200余名，阵地遂告不守，龙门一带尽入敌手。[32]
龙门一带激战方殷，日军独立混成第7旅团又向鲁山发起猛攻，该处守军新编43师阵地部署尚未就绪，就已遭到日军步骑兵2000余的猛烈攻击。7日，该城被占领。日军随即兵临下汤，该处为通向伏牛山脉的唯一交通线，位置十分重要，第1战区在此储备有大量的粮食、弹药。防守下汤及附近阵地的中国军队在名义上有5个师，“但新42师经新郑、襄城诸役之损失不足两个营，新43师经宝丰战役后不足五个营，新29师、暂27师均仅千余人，其中战斗兵不足半数，新44师人数较充足，但装备甚劣……”[33]下汤既陷，这支日军继续西进。及至月底，新42师官兵伤亡殆尽，新44师仅在四棵树一处的争夺战中就伤亡团长以下官兵200余人。[34]
至5月上旬，自许昌向西迂回的日军实际上并未达到围歼汤恩伯部主力的目的。中国军队一般是稍经接触就告退却或溃散，日军无法捕捉围歼。特别是当敌坦克师团主力攻占龙门等地后，更使中国军队溃散的速度加快。需要指出的是：日军第12军并不满意坦克师团对龙门一带的匆忙攻击，认为这多少破坏了围歼汤恩伯军主力的计划。在既成事实面前，第12军仍将主要目标放在打击中国军队的主力上。而华北方面军和大本营方面则对第12军的计划很不满意，要求以主力攻克重镇洛阳，意欲在太平洋、缅甸诸地战局急剧恶化的情况下借此提高士气，东条英机亦“希望迅速攻克洛阳”。[35]
这时，河南战场上没有遭受重大打击的中国军队，多集中在洛阳一带。以洛阳为中心集结有第4、第14、第39集团军的4个军共6个师，但其编制大多残缺不全。此外，第12、第13、第29、第85等军也由南方山地向宜阳一带开来，以期对日军进行侧击，掩护洛阳的守城部队。汤恩伯于是调整部署，除令第15军军长武庭麟率第64、第65及第14军之第94师坚守洛阳外，刘戡指挥第14军（欠第94师）、暂4军等部队向占领东龙门山之日军展开攻势；孙蔚如第4集团军及第9军在原阵地尽力支持；第13军、第85军迅速由临汝方面尾击窜犯龙门之敌，以图在洛阳附近夹击日军。
但日军的华北方面军却于5月10日下达规模更大的攻击命令，即以东、西、南三方面的互相呼应，“围歼第1战区军，进而攻击洛阳”，具体部署是：第12军应以主力迅速向宜阳、新安方面挺进，进入洛阳西北方；第1军应迅速渡过黄河，向洛阳方面挺进；野副兵团应击溃洛阳以北的重庆军，向新安方面挺进。[36]
按照这一作战计划，驻扎在山西的日军第1军最先采取行动。该军要抽出一部在垣曲附近渡过黄河，“切断陇海路，支持第12军主力作战”，这是“一号作战”计划事先部署好的。执行该计划的是由第69师团12个步兵大队组成的基干兵团（称为天兵团）。在经过周密的准备之后，天兵团于5月9日夜间分由垣曲正面、河堤村和白浪村3处渡过黄河，并在白浪渡口架起浮桥，仅此一处就渡过步骑3000余，山炮10门。中方河防部队素质既差，河防工事又因“每于大风过后则大半为流沙淹没”[37]，作用有限，但守备部队仍以步、机枪和迫击炮火力进行了抵抗。日军的渡船有的为炮弹炸翻，伤亡近50人，一度中止了渡河。日军大部队突破河防后于次日完成集结，随即分兵向渑池、英豪一带进击，意图截断陇海铁路，阻止陕西的中国军队支援洛阳。天兵团于5月12日占领渑池后，陇海路被彻底切断。日军从中国的军需列车上掳获了大批武器弹药和被服器具。该部日军随即“越过渑池分3股：一股沿陇海路东窜；一股向宜阳方面窜扰；一股沿陇海路西进”。[38]
山西日军南渡黄河，使中国军队要在洛阳一带夹击日军的计划完全破灭，加之龙门高地的丧失和汤恩伯军在洛阳西侧运动迟缓，使得集结在洛阳、偃师平原准备夹击日军的第1战区主力部队反而遭到来自东、西、南三面日军的夹击。惊慌之中，中国军队各主力先向洛河河谷和洛宁方面退去，洛阳成了一座孤城。
第一战区在洛阳城郊的防守以陇海铁路为界，划分成南北两部分。城北以上清宫和白马坡为中心，利用壕沟修筑了反坦克壕和混凝土火力点。城南也修有反坦克壕和混凝土火力点。城内更构筑了许多碉堡。所有工事之间都用地道联通，形成了较为坚固的防御阵地。1944年3月，又有美军顾问前来指导工事的完善，充分利用山坡、悬崖、壕沟以及房屋，修筑枪眼，并以混凝土或砖石构筑隐蔽的火力点，用散兵壕、交通沟或地道连接各阵地，地面还铺设了铁丝网。城内守军有14000人，其具体部署是：第64师防守西工区，第65师防守邙岭区，第94师守城防区。5月8日，蒋介石两次以电话指示洛阳守军：“（一）洛阳及其附近各守备部队，应死守各该地区十至十五日。（二）洛阳城防部队，应准备充分电台。（三）洛阳应多囤粮弹，并注意巷战设备。（四）洛阳城防部队，应注意陆、空连络，我飞机飞抵洛阳时，必在上空盘旋三匝，飞行特低。”[39]
5月9日起，日军坦克师团主力的百余辆坦克，配以步、骑、炮兵2000余人，沿公路由龙门方面北进，分向安乐窝、茹家凹、桃园寨一线的中国守军警戒阵地进犯。另一股日军2000余人，战车五六十辆，由三山村附近渡河，向兴隆寨、七里河一线进犯，并于10日晨攻占之。
11日晨，日军对洛阳外围发动攻击，“敌战车、装甲车共四十余辆，掩护步兵千余，由林森桥东、西地区，分向我西工及南关进犯……另敌四五百，向五女冢、东陡沟进犯”。12日，“一时，七里河、兴隆寨敌，战车五、六十辆，步兵二千余，向我猛攻”，七里河一带的中国守军固守工事，与敌展开激战，双方仅距30米。“激战至拂晓，敌续增二千余，战车七八十辆向我猛扑”，日军使用迂回侧背的战术，至次日凌晨占领七里河，但付出了伤亡大队长以下官兵近百名的代价。[40]同日，日军另一部在洛阳东南发起攻势，但中国守军以阵前埋设的地雷和猛烈的炮火使日军败下阵来。中国空军亦出动飞机轰炸日军阵地。天黑以后，日军将攻击重点放在西关，步兵、工兵在30辆坦克配合下，于13日午突入城西南角，但在守军炮火轰击下兵力无法展开。双方在西关一带展开巷战，逐屋争夺。处在二楼的守军为发挥火力，就将脚下的地板凿成窟窿，以手榴弹攻击一楼的日军，突进城内的日军仅一个大队，其中两名少尉战死，其他军官亦多数负伤。
中国军队退守至邙山南麓、史家屯一线。14日拂晓，日军发动总攻击，至20日，几乎每天都有激战发生。17日，日军在炮弹和烟幕弹的掩护下，以猛烈的攻势摧毁了中国守军在邙岭西部的阵地，中国军队退至岳村、史家沟、后沟之线。上清宫、西寺坡一带阵地在19日一天之内就遭到日军重炮和飞机的猛烈攻击，但守军阵地不失。西寺坡争夺战持续了四昼夜，直至21日夜，日军在战车的掩护下，再度向后沟迄上清宫、史家沟、西寺坡一线展开猛攻，中国军队主力才撤至洛阳城内。
23日，日第12军司令官内山英太郎亲赴洛阳城外，指挥攻城。24日13时，日军以第63师团和第3坦克师团为主力，对洛阳城发起总攻。日军“先以炮兵、飞机集中火力，向我西面城墙及东北城角轰击”，接着由步兵跟进突击。激战至当日下午，日步兵千余首先从西门及西北城角突入市区，东车站及其他方面也相继告失。不久，日军又分别由南门、东北角和北门突破进城。在炸毁了外壕和城墙之后，日军坦克车也冲进城内，随即到处展开激烈的巷战。天黑以后，守军以炽烈的机枪火力和手榴弹给日军以较大杀伤，但日军继续拼死进攻。到25日凌晨，日军又增派第110师团一部增援，凭借强大火力，在城内进行扫荡战，守军阵地悉被破坏，各处通信断绝，残兵遂由城墙东角撤出。25日8时30分，日军完全攻占洛阳城。
三、豫西山地的作战
洛阳失陷以后，鉴于中国军主力已先后转入豫西山地，第1战区司令长官部重新调整了军队部署：（一）刘戡兵团应于现地尽力支撑，万不得已时，转移于黄家窑、红土岭之线。（二）李家钰第36集团军应于夫子庙、两郁口7867高地间，对北布防，并确守新（安）宜（阳）公路。（三）孙蔚如第4集团军之第96军，速于王马廉沟、牛心寨、坡头娄沟间，对北布防，左与新6师连击。第38军速开韩城集结。（四）高树勋第39集团军以新6师之一部，在藕池附近，主力在白阜镇、孝村间，占领阵地。新8军军长胡伯翰率暂29师到藕池以南地区整顿。为确保新安、渑池、韩城、洛宁、旧县一线，战区命张耀明第38军速开韩城，占领阵地；命石觉第13军在沙坡头以南，协力第106师拒止白杨镇之敌；命刘戡兵团对当面之敌，应猛予痛击；命李兴中第96军进击渑池窜犯之敌；命预8师即开三乡镇、凹里南北之线，掩护洛宁；命李家钰第36集团军应尽力猛攻自渑池东窜之敌，协同刘戡兵团与第38军连击。[41]
日军对洛阳的攻击是出于政治上的考量，其作战重点仍是要围歼中国第1战区的主力部队。5月10日，日本华北方面军下达的作战命令就要第12军主力“迅速向宜阳、新安方面挺进，进入洛阳西北方”，“敌军退却时，应立即向郏县或洛宁方向急追”。[42]根据中国军队西撤的情况，日军又判明其路线是洛河的河谷，便决定首先抢占豫西战略要地卢氏。卢氏为通往灵宝等地公路的交通要道，又连接着灵宝一带的平地和洛河河谷，并建有飞机场。日军作战目的是要“彻底破坏该地附近的军事设施，堵截和歼灭从洛阳方面退却的敌军”。为此，日军第12军于5月11日命令第37师团各派一个联队，组成卢氏与洛宁两个挺进队。[43]该路日军一路奔袭，于20日黎明抵达卢氏发动突袭，酣睡中的守军措手不及，慌忙撤出。日军将卢氏县城里的各种军事设施彻底破坏，并将磨山的中国军队弹药库炸成一片瓦砾。尽管次日日军即从卢氏撤出，但这座重镇的丢失和被毁，加剧了中国军队的溃退。
日军主力的追击作战，始于13日。除第1军的兵力外，第12军的两个师团向洛阳西方推进，1个师团指向伊河河谷的嵩县，目标分别是蒋鼎文和汤恩伯指挥下的中国军队。1个骑兵旅团则直插洛宁西方的要隘长水镇。连日大雨，山道泥泞，后勤保障自然谈不上，中日双方军队均感极度疲劳。在攻打宜阳附近的段村时，日军第110师团遇到坚强抵抗，3人一组搭成的人梯，有的一齐倒下战死，只是坦克投入攻击后才将其占领。中国军队斗志已失，首先进抵要隘长水镇的日军只是先遣部队，兵力不足一小队，但中方经过此处的第38、第96两军遇见日军却仓惶失措，四散逃走。5月13日，日军以强大兵力（各类车辆约150辆）攻打磁涧，守军刘戡所部向南方溃败，14日失宜阳，16日丢韩城，17日战略重镇洛宁又失陷。同日，日军第1军所部又南渡黄河，进攻陕县。守军先以猛烈火力击退强渡的日军，打沉木船、皮筏各两只，而后坚守县城。守卫县城的是第40军马法五所部第317团第1营的两个连。日军在炮火掩护下渡河成功以后，施放毒气攻击，两连守军伤亡殆尽，副营长亦战死。[44]第317团只得突围向南溃逃。第36集团军损失亦同样惨重。该集团军原在新安以北，遭敌军夹击后越过陇海路南逃，旋又向西。5月21日，该集团军总部在陕县南部秦家坡被日军包围，在双方的激战中，集团军总司令李家钰等多名高级指挥官当场牺牲。[45]
这时，日军第1军渡过黄河的部队已深入豫西山地，关中告急。蒋介石一面严令败军不许无端撤向陕县，一面从第8战区抽调兵力东进迎敌，此外，又提醒第5战区严密防守，做好迎击日军在鲁山一带扫荡的准备。5月中旬以后，第8战区增援部队陆续到达豫西北灵宝地区，计有李延年第34集团军所属第1、第16军，范汉杰第38集团军所属第27、第57军。同时，第1战区溃逃的部队，如马法五第40军、刘戡第36集团军、孙蔚如第4集团军等部也退至灵宝附近地区重新集结。至5月底，队伍的重新集结整顿在灵宝一带大致完成。
中国军队的重新集结，引起了日军的高度重视，自山西渡过黄河的日军第1军决定以现有兵力，“用大约一星期的时间，尽快在灵宝附近发起作战”，目的不仅是要打击中国第8战区的援军，得到修筑防线所必需的时间，而且要“使敌军产生恐惧心理……对华中、华南方面作战，亦可产生相当大的影响”。[46]华北方面军司令官冈村宁次支持第1军的计划，并指派第12军增援兵力支援第1军在灵宝附近的作战。
中国军队抢先一步于5月27日发起反攻，至6月1日，又以5个师的兵力投入总攻击。以第8战区部队为主力的中国军队用各种炮火猛烈轰击日军据守的险山庙高地，旋即发起冲锋，日守军伤亡达三分之二。中国军队的攻击又在其他地方展开，并占领草庙等处高地。日军对中国军队的反击颇感意外，非但没能打退进攻，反而使原定的攻击虢略镇计划也成为泡影。中国空军也投入战斗，6月5日的猛烈空袭，使固守草庙北侧高岗上的日军西村和赤星两个大队伤亡80多人。[47]同日，中国军队猛烈的炮火袭击使守卫三角山的日军大队开始就被炸死22人。攻击虢略镇方面的日军一个大队与中国军队的搏杀反复多次，大队长以下的指挥人员多半身亡，官兵6月9日一天之内伤亡人数就达70多。[48]至此，中方陆续投入反击的部队已近10个师。原李家钰所部官兵头缠白布，为复仇而反攻。在第8战区东进兵团的奋勇抗击下，日军地兵团致电第1军司令部，声称所部“遭到有力敌军阻截，前进更加缓慢，甚至秦岭山脉的小路也被敌军占领。要突破该地，无论付出多大牺牲和时间也难奏效”[49]，这是日军最终不得不放弃灵宝会战的重要原因。在败退途中，地兵团司令官、日军第69师团第59旅团长木村千代太被地雷炸死[50]，这是日军发动“一号作战”以来被打死的最高级别的指挥官。自12日起，日军第1军开始后撤，分批退回到山西境内。
日军第12军除派部分兵力增援灵宝一带的战斗外，主力于6月间完成了在洛阳、宜阳、临汝等重镇的警备部署，确保对平汉线南段的控制。同时又以两个骑兵旅团为主力扫荡汝河以北的平汉路沿线之中国军队。自6月中旬起，河南战场的中心便转到周口一带。
在此迎击日军的是第1战区所属陈大庆第19集团军和何柱国第15集团军各一部，以第111师为主力，另加骑兵第3师以及一些地方保安部队，陈大庆担任总指挥。自18日起，敌以千余兵力在汽车、大炮的配合下，分别向商水、周口等地进攻，守军主要在周口地区与敌激战。中国军队在周口一带的守卫战中伤亡官兵400余人，日伪伤亡300余名。20日，各处日军会合，将商水城四面包围，飞机赶来轰炸。守卫该城的为第111师所部。日军先自东门突进城内，该处守军为一个连，连长阵亡。第661团第2营营长发现日军炮兵阵地后，亲率全营出击，企图夺取大炮，重伤身死[51]，随即演成8小时之久的巷战。次日，该城最终失陷。
到此为止，日军已大致完成了打通平汉线后的警备部署，为“一号作战”下一阶段目标——湘桂作战提供了陆地后方联络线保证。随后，第12军主力又陆续开往南方，大部改属于武汉方面的第11军。在历时两个多月的豫中会战中，日军投入的兵力预计达10万人，以伤亡约4000人[52]的代价大致完成了预定的战略目标。而中国方面的损失则极为惨重。投入此次会战的中国军队共有43个师，约40万人，结果只有15%的师未受损失，其他都遭到沉重打击。根据日方的统计，中国军队“遗尸”36700具，被俘13379人，日军缴获中方野（山）炮63门、野战重炮5门，迫击炮、速射炮、机关炮161门，机关枪、步枪13521挺（支），汽车100辆，机车、货车130辆。[53]河南省大部地区遭到战火洗劫，30多座城市被占领，损失无法计算。日军不仅打通了平汉线，而且还占领河南境内的陇海线，给整个华北乃至全国的战局都带来灾难性的影响。
同日军的损失相比，由于中国方面的损失过于惨重，“驯至腾笑世界，为八年抗战中未有之大耻”[54]。河南战场上的军事长官自然成为众矢之的。在舆论的压力下，第1战区司令长官蒋鼎文被撤职，副司令长官汤恩伯被撤职留任，第29军军长马励武被撤职，有1名师长被交军法审判，1名师长及3名团长被处死刑。
这场空前的惨败，暴露了中国军队的一系列致命弱点。第一，就军队素质而言，当时汤恩伯指挥的21个师中，有7个师原先就力量不足。第78军的3个师仅由两个独立旅和一个集训处的补充兵新编而成，编成后一个月不到战事就爆发，连装备也未得到。第13军是中央军精锐部队，也因人事影响了战斗力。第13军所属第117师，暂编第15军所属暂编第27师、新编第29师以及第12军所属暂编第55师，或是新编战斗力未养成，或是无作战经验，或是无装备补充。[55]这些都极大影响了战斗力。第28集团军所属的几个军中，“缺额既多，装备尤劣，不惟缺乏特种部队，即步枪堪用者亦不足三分之一，番号虽多，战斗力实甚有限”。[56]至于士兵的知识水准、军事技术，更是无以启齿。高级指挥官素质更差，如蒋鼎文、汤恩伯等，“素日不留心军政，而假藉地位经营商业以至上行下效，大小军官腰缠累累，战斗意志消耗净尽……”汤恩伯的精锐部队逃跑时，“使士兵民夫搬迁累累之军官行李财物”。汤恩伯本人在禹县经营3年，日军攻占禹县前三天他就逃离禹县。前线激战正酣，他却在鲁山县西南的下汤泡温泉，这里距离禹县只有八九十公里。及至战况恶化，仓促之际，他仅率译电员及卫士数十人逃跑，与作战部队一度完全失去联络。[57]此外，中国军队的指挥系统极其紊乱。“战斗序列随时变更，所指挥之军师甫入掌握，随即他调。又军师已直接奉到命令行动而高级指挥部竟茫然不知”。[58]调动的频繁，就使得部队无固定的责任感。第85军原是在装备与素质方面最为上乘的部队之一，但战役开始前汤恩伯就打乱了其建制：一部接替了郑州新编第42师防区，另一部则令守备密县，该军兵力原来已感不足，却担任了正面40多公里的防御。在突破河防之日军凶猛火力的攻击下，该军和其他部队一样陷入被动挨打的境地。机动部队既无法使用，通讯交通亦感困难，指挥官竟无法了解整个战况。会战过程中，日军惯用的战术是迂回穿插和锥形攻势，而侧背的安全由于兵力的限制则无法顾及。如果中国军队稍具协同作战和自我牺牲的精神，就可收到配合正面守军袭击侧背、夹击敌人的效果，但事实恰好相反，日军完全达到了各个击破的目的。
第二，通过政治层面的观察，国民党军队在河南的溃败就显得不足为奇。第1战区尽管早就判明日军有南下打通平汉线的企图，“原有之兵力已深感之不足”，但出于对付共产党等原因，又将第92、第93、第98、第9、第17、第27等军“相继抽调他去”。[59]会战过程中，“所意想不到之特殊现象，即豫西山地民众到处截击军队，无论枪支弹药，在所必取，虽高射炮、无线电台等，亦均予截留。甚至围击我部队，枪杀我官兵，亦时有所闻。尤以军队到处，保、甲、乡长逃避一空，同时，并将仓库存粮抢走，形成空室清野，使我官兵有数日不得一餐者。一方面固由于绝对少数不肖士兵不守纪律，扰及闾阎，而行政缺乏基础，未能配合军事，实为主因。其结果各部队于转进时，所受民众截击之损失，殆较重于作战之损失，言之殊为痛心。”[60]参加会战的几支主要部队在战后的总结中，几乎都提到了这个问题。
军事参议院少将参议李纯如分析道，此种现象的产生，“主要原因盖平时对民运工作仅有虚名，没有实际，现民众不知应如何协助国军支持作战。加之军队政治工作亦未能切实，士兵不了解民众痛苦，强占民宅，烧毁门窗，借名征购，随时苛索，彼此感情早有裂痕。一遇战事发生，军队复大征车马，强拉民夫。不良士兵竟有乘机抢掠者，而人民闭守村寨，拒绝军队入内。因此争夺，打死毙命、收缴枪支亦随地皆有。敌人乃乘军民龃龉、不暇抵抗之际，遂长驱直入，以致我中原战事失利……”[61]
第三，中国军队的后勤保障出现了较大问题。河南全省连年饱受饥荒之苦，而出粮出丁又“冠绝全国”。中条山会战失败以后，一方面遭到日军北、南、东三面的包围封锁，一方面又因大量军队在河南的集结而增添更多的负担。除此之外，河南省还要向驻扎在陕西的第8战区数万部队提供给养。这样，部队的后勤补给当然困难，“官兵薪饷服装逾期数月仍未发给”。[62]战事方殷，“各部队领不到给养，向民间借食包谷等杂粮。士兵营养不足影响作战。且部队所借杂粮多需自磨而食，终日忙于筹粮及推磨等工作，尚有何暇顾及操练与防务？并因此惹起人民反感使军民亦无法合作。而仓库陷敌时内尚存面粉一百万袋（第1战区北面驻军不过二十万人，每人每月一袋计，足供五月之食），连同存麦足供二十余万部队一年之用……”[63]
第四，就战略战术而言，豫中地势平坦，均系旱田，便于日军机械化部队和骑兵作战。面对装备精良的日军之攻击，缺乏重武器的中国军队理应扬长避短，在利用黄河防线等滞缓日军攻击的同时，应将主力部署在嵩山、伏牛山等山区与敌决战。尤其是郑州、许昌、新郑等城市大都无险可守，不利于劣势装备的守军作战。但第1战区长官部却投入整团、整师的兵力，并下令死守。这样既分散了兵力，又徒增伤亡。面对日军强大的火力攻击，中国军队在平原地带遭受重创，及至退往山区，已是溃不成军，毫无战斗力。
