就在此时，彭德怀写了他的意见书于14日送给主席。他正是因为会议即将结束，而又感觉并未真正解决问题，自己的意见亦未能畅述而写的。这封信对毛主席起了强刺激作用，免不掉又要亢奋失眠。主席自己在会上说，吃了三次安眠药睡不着。在神经过度兴奋的状态下，仔细琢磨的结果，就把这封信和国内外各种尖锐的反对意见，都联系起来；把彭总当作了代表人物，而且是在中央政治局里的代表人物。认为他的矛头是指向中央政治局和主席的，于是认为路线斗争不可避免。7月23日的讲话宣告了会议的性质已经改变，会议将扩大延长。
主席的讲话对我们是当头一棒，大家都十分震惊。彭德怀会后还曾向主席说，他的信是供主席参考，不应印发。但事已至此，彭的解释还能有什么用?我对主席的讲话，思想不适，心情沉重；彭德怀负担更重，我们两人都吃不下晚饭，虽然住在同一栋房里，但却避免交谈。我不明白主席为什么忽然来一个大转变，把“纠左”的会议，变成了反“右”；反复思索，不得其解。
当晚，周小舟打电话来说：他们想和我谈谈。我觉得这时应谨慎一些，不同意他们来，但小舟很坚持，我也就让步了，来就来吧。三人中，小舟最激动，李锐已意识到在这个时间来我处不好，可是未能阻住小舟。谁想得到，这次谈话竟成了“反党集团”活动的罪证呢?
小舟、周惠、李锐到来后，表现非常激动，说：我们都快成了右派了。我劝他们说：别着急，主席支持左的，也不会不要右的。小舟问：主席这样突变，有没有经过政治局常委讨论?又问：主席有没有斯大林晚年的危险?我说：我认为不会。又说：有意见还是应直接向主席提出，我们现在这样谈论，不好。小舟才平静下来，又谈了些湖南的情况。我们正准备走时，彭德怀拿一份军事电报走过来，小舟又说：老总，我们离右派只30公里了。彭说：着急有什么用。李锐催着小舟走，说太晚了。实际上，他大概是觉得，这些人还是早点离开这里为妙。周惠一向比较谨慎，没说什么话，他们就走了。他们出门时，正巧碰见罗瑞卿，罗持反“右”的观点，自然就注意了这件事。后来，这天晚上的谈话就成了道我们交代的一个重要问题。
23日主席讲话后，各小组下午就开始讨论主席讲话。那时发言尚较缓和，对彭总的批判虽较重不同，均未离开信的内容，有人说得厉害些，有人则还作些自我检讨。
7月26日传达了主席的指示：要对事，也要对人。这成了会议的另一个转折点。批评的火力大大加强，而且目标集中在人了。除了对彭总外，所谓“军事俱乐部”、“湖南集团”的提法也都出来了。“左”派柯庆施等人气势很凶，温和派也被迫提高了调子。彭德怀和我们这些人就只有作检讨的份。我在26日作了检讨，谈到19日的发言是嗅觉不灵，谈到自己思想方法上有多考虑困难和不利因素的老毛病，也谈到自己只认为彭总有些地方用词不妥，而认识不到问题的严重性，等等。这当然也有违心之论，但还不算太过。
7月26日除传达了主席说过的“对事也要对人”的指示外，还印发了主席对李云仲信的指示，说的就更严重了：党内外出现了右倾思想，右倾活动，大有猖狂进攻之势。这样一说，谁还敢当中间派呢?自此，批判、斗争不断加势。既然对人，那就得追查组织、追查目的，还要追查历史地来进行斗争了。
7月30日，主席通知我、小舟、周惠、李锐四个人会谈话。谈话时主席显得火气不大，所以我们也较敢说话。这次谈话，主席给我戴了几顶帽子。说我：一是彭德怀的政治参谋长，二是湖南集团的首要人物，三是军事俱乐部的主要成员。还说我与彭德怀的观点基本一致，与彭德怀是“父子关系”。又谈到过去的三军团的历史问题，说不了解我的历史情况等。
我答辩说：我和彭德怀观点基本一致，只能就庐山会议这次的意见而言。过去我和彭德怀争论很多，有不同意见就争，几乎争论了半辈子，不能说我们的观点都是基本一致，但我们的争论不伤感情，过去打AB团时，有人要打我，彭还帮我说过话，不然我那次就可能被整了。我认为我们的关系是正常的，谈不上什么父子关系。
主席说：理性和感情是一致的东西，我自己总是一致的。看来我不了解你和彭的关系，也不了解你这个人，还得解开疙瘩。
我又说：我当彭的参谋长，是毛主席你要我来当的。我那时在湖南工作，并不想来；是你一定要我来。既然当了参谋长，政治和军事如何分得开?彭德怀的信是在山上写的，我那时还没有上山，怎么能在写“意见书”一事上当他的参谋长?我在湖南工作过多年，和湖事的负责同志多见几次面，多谈几次话，多关心一点湖南的工作，如何就能成为“湖南集团”?至于“军事俱乐部”，更是从何谈起呢?
谈话还涉及到当年东北战场“保卫四平”问题和长时期炮打金门、马祖的问题，我都表示了反对的意见。主席说：“保卫四平”是我的决定，难道这也错了?我说：即使是你的决定，我认为那场消耗战也是不该打的。至于炮轰金门、马祖，稍打一阵示示威也就行了。既然我们并不准备真打，炮轰的意义就不大，打大炮花很多钱，搞得到处都紧张，何必呢?
主席笑笑，说：看来，让你当个“右”的参谋，还不错。
周小舟、周惠、李锐都说：会议上空气太紧张，叫人不能说话，一些问题不能辩论清楚。
主席说：要容许辩论、交锋，让大家把话说出来、说完讲透。小舟等又说：“湖南集团”的提法，有压力，希望能给以澄清。主席说：可能是有点误会。又说：我和你们湖南几个人，好像还不通心，尤其和周小舟有隔阂。
主席又把话引到他在遵义会议前，怎样争取张闻天、王稼祥等。主席要小舟“不远而复”。主席谈遵义会议，分明是要我们回头，与彭德怀划清界限，希望我们“实迷途其未远，觉今是而昨非”。但我们的思想问题没有解决，又都不会作伪，所以我们的表现可能使主席失望。
这次谈话，尽管主席对我的指责颇重，但空气不紧张，能让我们说话感不到压力；即使说的话让主席不满，他表示不同意时，态度也不严厉。所以我们的心情较好。我甚至还有点轻松感：到底有个机会，把话直接向主席说了。
7月31日和8月1日两天，毛主席在住处的楼上，召开政治局常委会议，批判彭德怀。连中午都不休息，午饭就是吃包子充饥。参加的人员有少奇、恩来、朱总、彭总、林彪、贺帅、彭真等同志，又通知我和二周及李锐四人列席。
主席主持会议，讲话最多，从历史到理论，长篇大套，我无法记述。讲理论，主要是说彭不是马列主义者，思想中有不少封建的、资本主义的东西，是个经验主义者。其中也提到：彭是劳动人民出身，对革命有感情；要革命还是好的，寄以希望。讲历史则是批彭德怀在几次路线斗争中所犯路线错误，说彭和他的关系是三分合作，七分不合作。彭说是一半对一半。主席仍说是三七开。
谈到彭的“意见书”时，主席说：信上说：“有失有得”，把“失”放在“得”的前面，反映了彭的灵魂深处。又说：我们没有经验，没有“失”如何能“得”，胜败兵家常事，要保护群众的革命积极性，不能泼冷水，气可鼓不可泄，要反右倾。又说彭：你讲“小资产阶级狂热性”，主要锋芒是向着中央领导，你是反中央、攻击中央。你的信是准备发表的，目的是用来争取群众、组织队伍。你要按照你的面貌改造党和世界。以前历史上许多重要问题，你都没写信，这次写那么长。对你那些挑拨的话要顶回去。
彭说：我过去在江西也给中央写过长信提意见，这次信是供你考虑，并没想发表。
主席又说：你过去挨了批评，心里怀恨。我们同在北京，连电话都难得打，打几次，没打通，就“老子跟你不往来”。在香山你找我，因我睡觉习惯特殊，警卫员说未起床，你就拂袖而去，不谈了。高、饶事件你陷得很深，你以后会怎样，也难说。
彭说：我过去追随王明、博古路线，1934年1月、2月间就转过来了。曾和黄克诚谈过，还得请主席来领导。我今年61岁，以后还能有什么呢?
朱总司令发言温和，主席说是“隔靴搔痒”。
林彪发言说彭是“野心家”、“阴谋家”、“伪君子”；说彭自己有一套纲领、路线，独断专行，攻击主席，用心很深等。这个发言很厉害，以后成了定性的基调。
其他同志多是举个例子，说明彭德怀有问题，表示同意主席意见。
毛主席还说到：整人就是要整得他睡不着觉，要触及灵魂深处。说彭：你组织性、纪律性很差，你有个说法：“只要有利于革命，专之可也”。打朱怀冰等，时机紧迫，还可说：“专之可也”，打百团大战，为何也不先报告请示一下?人们说你是伪君子，你历来就有野心。我66岁，你61岁，我会死在你前头，许多同志都对你有顾虑，怕难于团结你。
主席最重的话是说：你们这回是站在右倾的立场上，有组织、有准备的进攻，其目的是动摇总路线、攻击中央领导。毛主席甚至还提到解放军跟不跟他走的问题。
我不能不表态说几句话，我说：我和彭相处久了，许多事都看不清楚。中央苏区后期，他说过还是要请主席来领导，我认为他不是不辨别正确和错误。他的个人英雄主义我有感觉，今天的会使我认识更全面。希望彭能冷静地听取批评，常委领导同志讲的话，都是好意帮助，等等。 会后，主席把我们四个列席的人留下，又谈了一阵，要我们别再受彭的影响。特别对周小舟寄以希望，要他“迷途知返”。这一串的会议给我的感觉是：主席要教育和争取我们回头。虽然我被认为是彭的亲信，绝对脱不了身，但那时似还没有要定为“反党集团”的迹象。
8月2日开中央全会。
主席讲话着重谈路线问题，谈党内有分裂倾向，右倾机会主义向党猖狂进攻。谈允许犯错误的人改正错误，一看二帮；批评、改正、团结等。
接着就是各组开批斗会，批“军事俱乐部”进入高潮。康生是批斗中最积极的人，又是发言、又是插话，又是整理材料送主席，拼命地表现他自己。林彪的作用也越来越重要。8月4日由少奇同志主持一个会，向新上山的中央委员通气，林彪第一个发言，长篇大论地指责彭，占了一大半时间。
原来小组会是按地区分组，后来就扩大了。我原在西北张德生负责的那个组，以后薄一波、罗瑞卿、谭震林、乌兰夫、蒋南翔、田家英等十几个人都参加了这个组。到中央全会时期，又合编两个大区的人为一个组，人数很多，林伯渠、吴玉章也都到这个组来了。我平生受过无数次斗争，感到最严重、使我难以支持的，还是庐山会议这一次。我一向有失眠症，经常吃安眠药，但最多不过两粒，这时每晚吃到六拉，还是不能入睡。
开始我的态度还很强硬，有人说我是彭的走．狗，我气得要命，说：“你杀了我的头，我也不承认。对不合理的批评，就和批评者辩论。慢慢地，我意识到讲理、辩论都没用，就尽可能多听少说，多沉默，少争论。但我的检讨总是不能令人满意。
这时，有位中央领导同志找我谈话，谈了两次。他以帮助我摆困境的善意。劝我对彭德怀“反戈一击”。我说：“落井下石”得有石头，可是我一块石头也没有。我决不做诬陷别人、解脱自己的事。
但人们总以为我知道彭德怀的许多秘密，不满足于我只给自己戴帽子，逼着我交代彭问题。我实在没办法，只好找彭的秘书来帮我回忆，还是搞不出什么东西。彭还在碰巧能单独说话时，劝我别那么紧张。我说：右倾机会主义还不要紧，“反党”可就要紧了，我确实是很紧张。彭说：我这个人一辈子就想搞“富国强兵”，没什么别的想头。又劝我别悲观，似乎他还比我乐观些。但也不便多说，马上就走开了。
大约在8月10日，组里正在追问7月23日晚上周小舟、周惠、李锐到我那里到底谈论些什么。这时罗瑞卿带着李锐到我这组来参加会议。我马上紧张起来，心想一定是那天晚上他们说的话被揭露了。这里最关键问题是议论毛主席象“斯大林晚年”那句话。我深知他们当时很冲动，又都是一贯忠于革命事业的正直诚实的人，所以并不认为这话有什么了不起。但后来会议情况变得紧张、严重，我也明白这话必被误解。早些时，我曾劝过周小舟：23日晚你们出门便碰见罗瑞卿，定会引起注意，你们说过的这句话很容易被认为是反对毛主席，最好你们自己先向主席坦白说明情况。小舟说：不行了，晚了，现在去说，只会惹出祸来。因此，我也只能保持缄默。但这件事在我心里是个疙瘩。说不得，说了加害无辜；不说又是在隐瞒，作为一个中央委员，也觉得良心不安。而且，越拖很久、不是越显得“心虚”，显得事情严重么?组里正在穷追此事，我想，人家指明问那天晚上的事，我是中央委员，怎么能对组织隐瞒，只好如实说了那晚的前后经过，并说明我认为说话人并无不良用心，只是一时的冲动失言。
这就像爆发了一颗炸弹，全组立时哗然。我的解说毫无用处。他们又追问是谁说的?我当时并没对这话特别在意，实在记不清哪一个讲的。这时看到李锐，以为他说了些事，心想以他的为人，一定会自己承担责任，于是就说：可能是李锐说的，但也记不准了。后来周小舟自己承认多他说的。
这个“斯大林晚年”问题一出，会议就像烧开了的水一样，沸腾起来，似乎“反党集团”、“湖南集团”等均由此得到了确证。我前一段在组会上那么理直气壮地辩论，现在看来，都成了瞪着眼睛说谎话，证明我这个人非常不老实，完全不可信任。于是，“阴谋家”、“野心家”、“伪君子”的帽子都给我戴上了。身处此境，真是百口莫辩，跳进黄河洗不清，心里的那种痛苦，实在没法形容。可是还得开会，还得检讨，一次又一次，总是被认为不老实。
其他几个人也和我处于同样境地。听说彭德怀和张闻天也这么议论过毛主席，同样被揭露了。这就使参加会的同志都愤概起来。
毛主席在党内的威信崇高，得到大家衷心拥护。到此时，那些在批“右倾”时内心里还对我们抱有同情的人，也改变了态度。毛主席当然更加重了“党内有阶级斗争”的看法。他以前着重在批斗彭德怀的右倾，还对我们做了许多争取工作。到这里，就完全认定我们是个“反党”集团了，只把周惠区别出来，说是沾了点边。按党内地位，我应排在张闻天之后，但我既然是军事俱乐部的主要成员，又是联结湖南集团的纽带，罪状严重，所以把我名列第二，放在张闻天之前，说成是“彭、黄、张、周反党集团”。李锐是毛主席的兼职秘书，因而参加了庐山会议，又因和我们观点相同，也陷入此案，但由于不是中央委员，没有和我们一道并列点名。
主席这时已确认我们是有组织、有目的、有计划地进行反党活动。常委也同意这个判断，于是在作决议之前，主要任务就是要我们认罪。
