然而，官文只是出于个人私谊信任胡林翼一人，对曾国藩集团的其他成员并无好感，遂致咸丰八、九两年连出大故。李续宾在安徽三河全军覆没，左宗棠因樊燮案几陷大狱，皆官文一手造成，使清方蒙受巨大损失，官、胡关系也出现新的危机。《湘军志》称，当驰救庐州的李续宾自感兵单复又“名重耻退”之际，乃“发书湖北请益师。”其时，“续宾弟续宜将四千人屯黄冈，唐训方将三千人道英山援淮北，未行。林翼已持丧还葬，官文得书笑曰：‘李九所向无前，今军威已振，何攻之不克，岂少我哉？’遍示司道，皆以续宾用兵如神，无所用援。续宾虽请援，亦不肯留军示怯懦，则进三河”（《湘军志》，合刊本，第37页。），遂致败死。而《藤花馆掌故笔记》则说，李续宾驰救庐州之时，“胡文忠亦守制，居益阳故里，鄂中军务由官文恭主持。文恭颇不嫌于忠武（指李续宾）”。李续宾闻太平天国陈、李大军将至，“飞檄告急于鄂，文恭以疲卒予之，曰‘迪庵善用兵，能化弱为强也。’忠武家人闻皖事急，与文正议，欲驰书令退军。未发，而三河全军覆没之耗至。”（吴酉云：《藤花馆掌故笔记·李忠武轶事》，《小说月报》，第8卷，第11号。）胡林翼对之痛心疾首，引为已罪，通报全省司道官员，称吾“与迪庵共事最久，弃之以归，致全军殁于异域”（《胡文忠公遗集》，第59卷，第23页。），而对负有直接责任的官文，岂不更为憎恶？遂使双方关系再度产生裂痕。更为严重的是，这件事过去不久，又发生奏劾左宗棠一事，必欲置之死地而后快。联系到官文的其他劣迹，终令胡林翼痛恨难忍，意欲再举弹章，劾之以去，后听从阎敬铭的劝告而罢。薛福成称，左宗棠“既被严劾，文忠愠不言”。“文恭有门丁颇为奸利，奔竟无耻者多缘以求进。文忠所素欲参劾者，文恭或荐之得居要地。府中用财无訾省，不足则提用军饷，耗费十余万金。文忠积不能平，独居深念，若重有忧者。当是时，今协揆朝邑阎公以户部员外郎总理粮台，兼运帷幄筹，往谒文忠，请间言事。文忠屏人，以督府事告之曰：‘方今筹饷如此艰难，而彼用如泥沙；进贤退不肖大臣之职也，而彼动辄乖谬。今若不据实纠参，恐误封疆事，为朝廷忧，吾子以为奚若？’阎公对曰：‘误矣。夫本朝二百年中，不轻以汉人专司兵柄。今者督抚及统兵大臣满汉并用，而焯有声绩者常在汉人，固由气运转移，亦圣明大公无私，刬刮畦畛，不稍岐视之效也。然湖北居天下之冲，为劲兵良将所萃，朝廷岂肯不以亲信大臣临之？夫督抚相劾，无论未必能胜，就使获胜，能保后来者必胜前人耶？而公能复劾之耶？且使继之者或励清操、勤庶务，而不明远略，未必不颛已自是。彼官至督抚，亦欲自行其意，岂必尽能让人？若是则掣肘滋甚，讵若今用事者胸无成见，依人而行？况以使相而握兵符，又隶旗籍，为朝廷所倚仗，每有大事，可借其言以得所请。今彼于军事饷事之大者，皆唯公言是听，其失祗在私费奢豪耳。然诚于天下事有济，即岁捐十数万金以供给之，未为失计。至其位置一二私人，可容者容之，不可容则以事劾去之。彼意气素平，必无连也。此等共事之人，正求之不可必得者，公乃欲去之何耶？’胡公击案大喜曰：‘吾子真经济才也！微子言，吾几误矣。’由是益与文恭交欢无间言，文恭亦敬服之终身。”（《庸庵文编》，第4卷，第23—25页。）虽然如此，清政府仍对胡林翼多方限制，使之大受压抑。同治五年八月曾国藩致函新任鄂抚曾国荃说：“胡润帅奉朱批不准专衔奏军事，其呕气百倍于弟今日也。”（《曾文正公家书》，同治五年八月二十四夜。）
胡林翼死后，官文再也不会像昔日对待胡林翼那样对待后来者。据说，胡林翼刚刚去世，官文就派人将巡抚衙门的全部文书档案取走，从此独掌全省军政大权，再无抚院主政之事。同治元年曾国藩在一封奏折中说：“官文休休有容，遐迩共知。然昔日之待胡林翼，事无大小，推贤让能，多由抚署主政。今之待严树森，资有浅深，军政吏治多由督署主政。（《曾文正公奏稿》，第16卷，第69页。）”这样，胡林翼后的继任者，虽有几位属于曾国藩集团的骨干人物，但他们所能掌握的实际权力，也就很有限了。胡林翼病重期间曾奏准以李续宜署理鄂抚，临终之际又奏荐李续宜自代。据说，官文亦有此请，故一时尚可相安无事。然次年即发生变动，清廷令李续宜移抚安徽，湖北巡抚由原胡林翼心腹幕僚、时任河南巡抚的严树森调补。官文大概不喜欢此人。严树森赴任不久即遭弹劾，虽经曾国藩多方辩解当时没有落职，官文也勉强接受下来，但为时不到两年即被劾降调以去。其后鄂抚人选频繁改动，直到同治四年底皆不是湘淮人物，也无人足以同官文抗衡。
同治五年正月曾国荃由晋抚调任鄂抚，一到武昌就与官文展开了权力之争。据说，任命曾国荃为湖北巡抚的谕旨甫下，因湖北布政使唐际盛“虑沅来鄂不利于己，遂代官拟一折，请沅公不接巡抚印，径出境任军事。官不可。唐计既沮，退即写折底寄归湘中，传之于众，妄言官已密奏，冀尼沅行。沅得之大怒”，“即在鄂，不肯接印者旬日”。后经人劝解，“沅意稍释”，官文复“奏放沅为帮办”（《能静居日记》，同治六年四月二十七日。）。且军机处廷寄谕旨不直达抚署，每由官文转交。曾国荃不能忍受这种屈辱，遂于离开省城而未至剿捻战场之际，不听曾国藩的劝阻，上奏弹劾官文。
曾国荃采取行动之前，曾向曾国藩透露此意，曾国藩复信劝阻，令其“缓图”。其两次提到的“顺斋排行”之说，不知出于何典，而联系末尾“胡润帅奉朱批不准专衔奏军事，其呕气百倍于弟今日也，幸稍耐焉”一段，似指参劾官文一事。岳麓书社为该信所作的提要亦称“参劾一事缓图”，可见该书编者也持有这种看法。曾国藩阻挠此事的理由有三，一怕受到报复，二怕遭人议论，三怕牵连自己。他说：“顺斋排行一节，亦请暂置缓图。此等事幸而获胜，而众人眈眈环视，必欲寻隙一泄其忿。彼不能报复，而众人若皆思代彼报复者。吾阅世最久，见此甚明。”并举自己与毛鸿宾参劾他人的教训说：“陈、黄非无可参之罪，余与毛之位望积累，尚不足以参之，火候未到，所谓燕有可伐之罪，齐非伐燕之人也。以弟而陈顺斋排行，亦是火候未到，代渠思报复者必群起矣。苟公事不十分掣肘，何必下此辣手？” 又说：“吾兄弟位高功高，名望亦高，中外指目为第一家。楼高易倒，树高易折。吾与弟时时有可危之机，专讲宽平谦巽，庶几高而不危。弟谋为此举，则人指为恃武功、恃圣眷、恃门第，而巍巍招风之象见矣，请缓图之。”还说：“星冈公教人常言：‘晓得下塘，须要晓得上岸。’又云：‘怕临老打脚棍。’兄衰年多病，位高名重，深虑打扫脚棍，蹈陆、叶、何、黄之覆辙。”故“自金陵告克后，常思退休藏拙”，奈屡生变故，迄难遂愿。“弟若直陈顺斋排行，则人皆疑兄弟熟商而行，百缘无以自解，而兄愈不能轻轻引退矣。望弟平平和和作一二年，送阿兄上岸后，再行轰轰烈烈做去。”（《曾国藩全集》，第20册，第1280、1281、1282页。）
事实证明，曾国藩是有远见的，他的告诫事后果然应验了，曾国荃亦颇有悔意。不过，通过这场争斗，曾国荃个人虽然没有捞到什么好处，但却为李鸿章兄弟谋得湖广总督的职位，从而为曾国藩集团夺得湖北的军政大权，使清政府长期不肯放手的这一战略要地，终于落到他们的掌握之中。故曾国藩虽感清政府对整个事件的处理有失公允，但总还算得到一些收获，称“顷阅邸钞，官相处分极轻，公道全泯，亦殊可惧。惟以少荃督楚，筱荃署之，韫斋先生抚湘，似均为安慰。”（《曾文正公家书），同治六年正月二十六日。）然数年之后，当他看到清政府为此而采取的一系列报复行动，也不会不想到他们为此所付出的巨大代价，实际是以数省督抚之位，始换得湖广总督一席。
