秦桧没收三大将的军权，三人态度各不相同。其中，年过五旬的韩世忠最消极，身为朝廷命官，每天穿着非主流服饰出入宰相衙门。后来连虚职也辞去，带一两个奚童，到处游山玩水，真的交出军权，退休养老。不过养老后韩世忠研发了一种克敌弓，是神臂弓的改进版，非常强大轻便，后来成为宋军的主战武器。绍兴二十一年（1151年），咸安郡王、镇南武安宁国节度使韩世忠薨，享年62岁，追封通义郡王、蕲王，配飨高宗庙庭。其妻梁氏正史中记载不详，野史称之为梁红玉，据说是营妓出身，也曾立下不少战功，在绍兴五年的一次战斗中中伏牺牲，夫妻两人一直受到民间的高度赞誉。而39岁的岳飞始终坚持要求归还军权，最后宋廷让张俊、岳飞重返指挥岗位，并让他们到楚州视察韩世忠的部队，准备分到二人麾下。韩世忠旧部对此安排异常不满，甚至一度流传要刺杀张俊。而张俊、岳飞一路同行，正直的岳飞和私欲颇重的张俊事事不和，加剧了矛盾。当初年轻的岳飞在宋军中快速崛起，张俊、韩世忠都很嫉妒。
为改善关系，岳飞将缴获杨幺的楼船全副武装了两艘，分送给张、韩。韩世忠大喜，张俊却认为是岳飞在炫耀，更加嫉恨。后来张浚公开说岳飞、韩世忠是最优秀的两员大将，岳、韩更加惺惺相惜，张俊则更加嫉恨。韩世忠旧部有一名军吏景着上言不能分了韩家军，被秦桧抓住把柄，捕入大理寺，并以此诬告韩世忠。岳飞得知后立即通知韩世忠，韩世忠赶到高宗面前解释清楚，避免了被秦桧背地里陷害。秦桧对岳飞的怨恨也达到极点，他与张俊一碰头，说起岳飞，都是咬牙切齿，遂合谋陷害岳飞。碰巧岳飞在柘皋之战中表现不佳，又拒绝收复一座他认为不能守的小城，都成为把柄，秦桧鼓动岳飞的仇家谏议大夫万俟禼（音同“末骑泄”，“万俟”是拓跋鲜卑的一个部族名，汉化后以此为姓）弹劾岳飞。岳飞本来就不想要这个枢密副使，于是主动辞去，还武胜定国军节度使衔。宋朝高官被御史弹劾导致降官本来也不是什么稀罕事，而政治斗争也都仅限于权力分配，从不涉及人身，所以岳飞走得很潇洒。
但他并没料到，这一次，他将成为一个历史纪录。秦桧依次平定各位武将后加紧与兀术议和，而兀术议和的一个必要条件竟然是要杀岳飞！在宋朝要杀一个有罪的官员尚且不能，何况是杀一个无罪的少保？但秦桧和张俊都已经报定必杀之心，一定要试一试。王贵本是湖北宣抚司都统制（军团长），是岳飞麾下最重要的将领，曾因罪差点被岳飞处斩，于是秦桧找他陷害岳飞，被一口回绝。但王贵却有什么私人把柄被秦桧把持住，又不得不合作。秦桧又在岳飞军中找到一个叫王俊的人，最善于诬陷，张俊和他们一道捏造了一起很严重的事件：说岳云写信给张宪，让他谎报金人入寇，逼迫朝廷让岳飞重掌军权。秦桧将张宪逮捕至大理寺，但始终没有任何证据，又将岳飞父子逮捕至狱审理。御史中丞何铸负责审理此案，岳飞裂开衣裳，背上刺有“尽忠报国”四个大字。何铸审理的结果是岳飞无罪，纯系诬告。秦桧大怒，利用职权，又调万俟禼来审理。万俟禼动用了许多暗箱操作手段，都是违背当时法律和惯例的。
最后万俟禼宣布岳云写给张宪的信已经烧毁，高宗给岳飞的御札是对岳飞有利的证据，他们又将这些御札全部藏起来。岳飞被捕期间，很多官员和平民上书言无罪，都被秦桧贬斥。本已决心退出官场的韩世忠找到秦桧质问证据何在，秦桧支支吾吾道：“岳云给张宪写信之事虽然不明确，但事体莫须有（大概有的意思）。”韩世忠愤然道：“'莫须有'三字，如何使人心甘！”秦桧始终拿不出能够宣判岳飞的证据，但一直将其羁押在狱。岳飞被拘后，宋金和议终于达成，史称“绍兴和议”，双方终于停战，进入一个相对和平的时期。关于绍兴和议的细节，笔者认为史料记载是颇有疑问的。绍兴和议的最终定稿大致以挞懒和秦桧商议的蓝本为基础：宋金双方停战，西以大散关为界，东以淮河一线为界，约为伯侄之国；金国归还宋徽宗、显肃、懿节皇后梓宫、宋高宗生母韦氏，但没有归还宋钦宗；开放榷场贸易；宋向金交纳每年银、绢各25万的岁币。但另有一点令人质疑，那就是金国是否册封了宋高宗，建立君臣关系。
按说这是很大的一件事，但《宋史》全无记载，《金史·熙宗本纪》和当时前往缔约的左宣徽使刘筈的传记均一笔带过，只有《兀术传》中比较详细，还写出了册封的原文。所以绍兴和议中宋金是否确立了君臣关系，是一桩无头公案。我个人猜测，很可能是金方提出了这个要求，但最终未能达成协议。虽然我也不能确切的指明真相，但至少这是一件值得斟酌的事。然而很多现代人却抓住这个史料记载含混的事件，不但不加分辨，而且非常兴高采烈的作为宋朝的一大罪状而鞭笞着，这种心态值得玩味。然而就在和议达成后不久，绍兴十一年（1141年）十二月（公历已在1142年），一件令人震惊的事情发生了：秦桧往狱中递了一张纸条，之后岳飞死在了狱中！岳飞作为最伟大的民族英雄之一，死在本国的监狱中，这绝对不是轻松的话题，不能绕开不谈，杀害岳飞的凶手到底是谁？传统观点认为是秦桧为了谈和杀害主战派将领岳飞，有一种新观点认为宋高宗作为皇帝，才是杀害岳飞的真凶，秦桧只不过是他的一个工具。
而高宗杀害岳飞的主要动机是：求和；防范武将坐大；岳飞不该议立皇储；怕岳飞救回钦宗，威胁到他的皇位。但很显然这些统统都不是事实。第一，高宗作为皇帝，岂有不想收回故土的道理；第二，宋朝防范武将本身就是谣言，就算要防范，那应该防童贯、张浚，轮不到岳飞；第三，现代人看多了清宫戏，认为臣子不能议立皇储，其实宋朝的皇帝本身就要由廷议决定，不来议立的重臣才是失职；第四最荒谬，金国一直把钦宗当做对付高宗的杀手锏，随时可以复立钦宗，宣布高宗的南宋朝廷非法，所以高宗恰恰是最想救回钦宗的人。现代流传高宗欲杀岳飞的动机都是谎言，目的是掩护真正的凶手秦桧。秦桧作为宰相与皇帝争权，最忌讳的高宗系势力便是其宠将岳飞，而利用金国对宋廷的压力，把持议和大权则是他擅权的重要方式，这就是秦桧阻战求和并杀害岳飞的原因。而无论如何，宋高宗也必须为他没能保护岳飞负责，正如潘美要为杨业之死负责一样，宋高宗这位中兴之君被钉在历史的耻辱柱上，或许也并不冤枉。而岳飞，这位伟大的民族英雄，没有倒在浴血的疆场，却死于本国的冤狱，着实令后人含泪，只留下他的伟大精神融入了中华民族的坚强血脉。
