一九八三年十月，根据中共十二大的部署，中共十二届二中全会通过了《中共中央关于整党的决定》，确定从一九八三年冬季开始，用三年时间分期分批对党的作风和党的组织进行一次全面整顿。《决定》指出这次整党的目的，就是要正确地运用批评和自我批评的武器，执行党的纪律，揭露和解决党内存在的思想、作风、组织严重不纯的问题，实现党风根本好转，提高全党的思想水平和工作水平，更加密切与人民群众的联系，努力把党建设成领导社会主义现代化事业的坚强核心；任务是统一思想，整顿作风，加强纪律，纯洁组织，推进精神文明和物质文明建设。
在这次全会上，邓小平作了题为《党在组织战线和思想战线上的迫切任务》的讲话，强调，整党不能走过场，在整党中对于“三种人”，和其他各种错误严重、危害严重的人，必须严肃地做组织处理，各级领导干部，特别是高级干部，应该严格遵守党章、遵守《党内政治生活若干准则》，以起到模范作用。陈云在会上着重讲了清理“三种人”和执政党不能以权谋私的问题。
全会决定成立中央整党工作指导委员会，胡耀邦任主任，万里、余秋里、薄一波、胡启立、王鹤寿为副主任，王震、杨尚昆、胡乔木、习仲勋、宋任穷为顾问。
中央整党指导委员会的工作和中央书记处的工作密不可分，习仲勋虽然是顾问，但由于他在书记处协助主持常务工作，因此也参与了中央整党指导委员会的领导工作，日常工作基本上是习仲勋和薄一波处理的。习仲勋的工作异常繁忙，不仅大小事都要处理，还要按照中央的安排，到省市调查研究，指导工作。
一九八四年五月二十二日到六月十二日，习仲勋先后到上海、浙江、江苏、山东就整党问题进行调查研究。他每到一地，都仔细听取当地党委的汇报，深入基层，与基层党的工作者座谈、交流，了解情况。习仲勋对各地在整党中的好的做法，给予充分肯定，同时对大家反映的问题，耐心细致地做出解释或发表自己的见解，与他们一起研究解决的办法。
五月二十五日上午，习仲勋在上海召集了三个区和三个郊县主要负责人参加的座谈会。
当有人谈到整党要贯彻自上而下的方针时，习仲勋说，整党是要自上而下的，但在一个地区不要限于这一规定，也可以先搞一些试点，哪个区、县委具备了对照检查条件的，就可以先搞，这也是正常现象。
当议论到对照检查问题时，习仲勋说，对照检查有集体的和个人的，重点应该放在集体，集体对照检查是在个人对照检查的基础上作的，也就是集思广益。个人对照检查，就是进行自我检讨，有问题的要检查，没有问题的也可以不检查，靠学习、靠自觉，不要人人过关。我的意见，批评与自我批评，以自我批评为主。批评要实事求是，自我批评也要实事求是，要开展谈心交心活动，谈心过程中就有批评与自我批评，这样可以不伤和气，又能解决问题。整党中解决任何人和事的问题，都要有利于团结，有利于把经济搞上去，有利于开创新局面。如果违背这一点，就是不成功的。
当有人谈到经过工作较好地解决了否定“文化大革命”的问题时，习仲勋说，毛主席过去讲对“文化大革命”要三七开。七好在哪里？“文化大革命”没有一点好处，当时是对形势估计错了，运动发动错了。当然，“文化大革命”中形成的两大派里绝大多数人是好的，但也都有不好的，有“三种人”。“三种人”进了班子的，就要先调整领导班子，把好人选上来，然后再整党。对犯有严重错误又至今不改的，要从领导岗位上拉下来。对“三种人”要坚决清理，又要防止扩大化，要坚持实事求是，是什么样的事实就是什么样的事实。对犯有一般错误的，在整党中就不要再翻腾了。上海是重灾区，林彪、江青反革命集团都是以上海为根据地的，上海确实有它的特殊性、复杂性，处理这些问题要有一个具体政策，你们要研究一下，上海搞好了，对全国很有好处，对国外也有影响。
当大家谈到在“两案”审判、审理中，是否对犯错误的人进行重新处理时，习仲勋说，除了对那些发现新的重大问题和表现恶劣的，要重新处理外，一般的不要再作重新处理。
当谈到对犯有一般错误的同志要有一个政策意见时，习仲勋说，各地有各地的情况，各区问题也有差别，区、县都可以自己拿方案，请市委批准。不要什么都等市委拿主意，市委的意见也不可能很具体，不可能把各区、县的具体问题都写上。这也是一个领导方法问题，就是要你们动脑筋，想问题，去解决你们自己的问题，也就是在实践中培养你们健康成长。
选拔干部是大家谈论的一个热门话题。习仲勋说，亲疏之别可以有，但亲疏之分千万不能搞。要任人唯贤，光明正大，公道正派，要搞五湖四海。这一点你们当一把手的，搞组织工作的特别要注意。
当大家讨论改革问题时，习仲勋说，上海是世界有名的大城市，在全国占据很重要的地位。现在十四个沿海城市开放，加上海南岛就是十五个地方了。上海的力量雄厚，有一支强大的有觉悟有技术的工人队伍，应该走在前面。中央希望你们带头，搞得更好一些，贡献更大一些，即使不带头，也不能落后。现在大家都在赛跑，到二○○○年实现中央和胡耀邦提出的全党的总任务总目标。整党决定中的四句话，其中统一思想就是要统一到这里，也就是统一到党的十一届三中全会以来的路线、方针、政策上来。
当谈到有的老同志通过整党学习，表示要为开创新局面“多发扬优点，少留下缺点”时，习仲勋说，对，年龄大了，总要有个好归宿。要按照中央的要求，搞好对第三梯队的建设和传帮带，这是考验老同志晚节好不好的一个重要方面。老同志可以有三种情况，一是多帮助，支持那些年轻同志独立工作，多发现一些千里马；二是自己做些力所能及的工作，但不要去干扰在第一线工作的同志，干扰人家就不好；三是好好休养身体，如做些社会工作，写字画画，种花种草，健康长寿。干扰年轻人是很不好的。我看要有两个自知之明，老干部要有自知之明，年轻干部也要有自知之明。有了两个自知之明就好办了。
习仲勋在座谈会上还强调说，现在上面有些规定对下面卡得太死，有的是顶头上司或者是中央有关部门定的，太紧了，要改。条条块块，要以块块为主。上海市有上海市的情况，就要以上海市为主，不这样就不好办事。上级领导对下面不要管得太紧。上海这么大的城市，什么事情都要统到上面的什么口子里，这种做法值得研究。
习仲勋发现中共上海市委同中央整党联络员小组之间，互相沟通情况、主动商量问题不够，在有些问题上看法不一致时，他便多次个别或集体同他们谈话，帮助做团结、协调工作。习仲勋说，由于双方的处境和观察问题的角度不同，在一些问题上发生不同看法和意见，完全是正常的现象，要善于运用民主讨论、反复比较的方法统一认识，取得一致。习仲勋语重心长地说，在地方党委的统一领导下，双方应当互相信任，互相支持，互相通气，主动商讨问题，同心协力地做好整党工作。
在上海期间，习仲勋还听取了正在上海看病的中共江西省委第一书记白栋材关于江西整党工作的汇报。
六月五日晚，习仲勋在南京调阅了中共江苏省委常委的对照检查材料。六日上午召集江苏省委常委一起座谈了整党工作。他在听取了工作汇报后说，江苏省委前一段整党工作是认真的、健康的、有成效的，在对照检查中省委常委起了带头作用。希望在这个基础上高标准地完成这期整党任务，创造、总结经验，把今后的整党工作搞得更好。
他分析了江苏的形势后指出，要进一步认识整党的根本目的，增强整党的自觉性。我们的一切工作，都要有利于加强团结，有利于发展经济，有利于发展大好形势，有利于开创社会主义现代化建设的新局面。整党工作同样是这样。江苏省要充分运用自己的好条件，创造出更好的成绩来。
习仲勋向中共江苏省委转达了胡耀邦的意见。胡耀邦要求江苏来个新的“七战七捷”，就是今后七年，经济年年要有增长，在前几年工农业年总产值翻一番以后，到一九九○年再翻一番。习仲勋指出，你们可能要多花些力气，但要争取实现这个目标。我们搞经济建设，不像资本家那样是为了自己多赚钱，为了极少数人的利益而剥削广大劳动群众。我们完全是为了国家富强和人民富裕，为了不断提高人民的物质生活和精神生活。我们的同志要牢固树立这一思想，掌握这一根本出发点。我认为整党的根本目的，就是要把我们党建设成为领导社会主义现代化建设的坚强核心，保证党在现阶段的总任务、总目标的实现。搞好经济建设是八十年代的三大任务之一，是个核心，是搞好一切工作的基础，所以整党工作一定要促进经济，促进改革，促进开放。邓小平在党的十二大的开幕词中明确指出：“在认真学习新党章的基础上，整顿党的作风和组织”，这是我们坚持社会主义道路，集中力量进行现代化建设的一项最重要的保证。经过整党，如果没有做好清理“三种人”的工作，没有解决以权谋私的问题，没有纠正严重的官僚主义，或者还有其他应该做的事情没有做好，这当然都是走了过场。但如果这些事情都做了，也还做得不错，但就是没有促进经济的发展，没有促进改革和开放，没有把经济搞上去，甚至还使经济遭到不应有的损失，这算不算走过场呢？我看这是最大的走过场。
他强调说，搞好整党，必须继续克服“左”的影响。整党是不叫运动的运动。因为党的每个组织和每个党员都要按照党章规定和中央整党决定的要求，开展批评和自我批评，进行集体的和个人的对照检查。但决不允许采用搞运动的办法进行整党。过去有很多老框框、老办法，都是在“左”的指导思想影响下形成的。我们对这一套很熟悉、很习惯，很容易不知不觉地走老路，重犯老毛病。因此，从上到下，在整党的全过程中，要抛弃过去“左”的一套做法。
他要求在整党中切忌搞形式主义。指出，应根据不同情况，确定学习重点，注重实效，既要集中一段时间学习，又要把学习贯穿整党的全过程。经过学习，在提高觉悟的基础上开展批评和自我批评，做好对照检查，找出主要问题，明确努力方向。过去那种强制压服“打通思想”的办法不但不能解决问题，而且往往适得其反。我们一定要牢记这个教训，坚持按照中央整党决定中指出的方针方法办事。
习仲勋说，清理“三种人”首要的是做好两件事，把住两道关，一是必须坚决地把现在仍然留在各级领导班子中的“三种人”一个不漏地清理出来；二是决不允许把任何一个“三种人”选进第三梯队。关键是要整顿和建设好领导班子，领导上要有清醒的认识。我在上海、浙江和你们这里，在和一些同志交谈中都认为，就一个地方、一个部门和一个单位来说，可能出现这样的情况，就是整党搞完了，清理“三种人”的工作也不一定能够完全结束。但只要有一个好的领导班子，只要这个领导班子头脑清醒，心中有数，在这方面就是有点遗留问题，也不难解决。
习仲勋指出，在整党中，还要基本解决好一个大的战略问题，即重视和抓好建立第三梯队的工作。整党三年，如果发现、培养、锻炼、选拔不出一批人才来，整党就不成功。在这项工作中，要特别注意防止派性干扰。现在一个人不提拔则已，一提拔就有人反对，一封封告状的信就写来了，有些事情说得神乎其神，但一经调查，往往不是那么回事。对于这类反映和信件，要一看二查三核实，对的采纳，错的不理。属于诬告陷害他人的，要坚决追查，严肃处理。
习仲勋还特别叮嘱中共江苏省委的同志说，我们的事业正在不断发展，新情况新问题层出不穷，这就要求加强调查研究工作，省委要挑选一些有一定的理论水平、实践经验和写作能力的同志，并再挑选点优秀的大学生，组成一个能够忠实执行党的路线、发扬党的三大作风的理论研究班子，经常深入基层，深入群众，了解新情况，研究新问题，总结新经验，并且在实践中锻炼他们。这个事很要紧。
