太子杀江充后，宣布武帝在甘泉病危，奸臣企图作乱，下令征调军队，发兵占据各重要机构。太子赦免了在中都官服役的囚徒，将武库的武器发给他们，命石德等人率领。丞相府被占后，丞相刘屈氂逃跑，长史火速赶往甘泉宫报告，武帝下亲笔诏令：“斩捕反者，自有赏罚。以牛车为橹（用牛车作掩护），毋短兵接（不要用短武器交战），多杀伤士众。坚闭城门，毋令反者得出（别让造反的人出去）。”武帝还从甘泉宫回到长安城西的建章宫督战，下诏征发三辅近县兵，由刘屈氂指挥镇压。
至此，形势急转直下。太子征调驻在长水和宣曲的胡骑未成，北军也闭门不出，只得从长安四个市上召来了数万人。这支临时凑起来的部队与刘屈氂的军队在长乐宫西阙下相遇，激战了五天，血流成河。刘屈氂的援军源源而来，太子见大势已去，出覆盎门逃亡。石德等人和太子宾客全部被杀，参与发兵的还被灭族，受牵连的官吏、士卒被流放敦煌郡。武帝派人废卫皇后，逼令自杀，卫氏被灭族。太子夫人史良娣、一子、一女和家属全部被杀，只有一位在襁褓中的孙子被狱官冒死保护下来，18年后即位（宣帝）。
太子不知所终，但武帝震怒，臣下没有人敢进言。壶关县（今山西长治市北）一位“三老”县乡负责教化的官员，一般由有德行的长者担任）毅然上书，指出“阴阳不和则万物夭伤，父子不和则室家丧亡。故父不父则子不子，君不君则臣不臣”。他揭露江充的奸计，请求武帝宽恕太子，停止追捕，不要让太子长期逃亡在外，以期武帝有所感悟。
太子和二位皇孙藏匿在湖县泉鸠里（今河南灵宝市西北）一户穷人家，主人靠卖草鞋得来的钱供养他们。太子想到自己有位朋友在湖县，听说他很有钱，就让人去找他，走漏了消息。地方官带兵围捕，太子自知无法逃脱，堵住房门上了吊。士兵张富昌一脚踢开房门，新安县（今河南渑池县东南）令史李寿奔来解开绳子，将太子抱下，可是早已气绝身亡。主人格斗而死，两位皇孙被杀。武帝闻报无比伤感，封李寿和张富昌为侯。
日子一长，事实证明，所谓巫蛊纯属冤案，武帝也知道太子实在是因为害怕至极，并无其他意图，但又不便公开认错。正在此时，高寝郎（高祖庙值勤官员）田千秋紧急上书为太子申诉：“儿子玩了父亲的兵，应有的惩罚是打一顿板子；天子的儿子过失杀人，算得了什么大罪！我梦见一位白头老翁教我说这话。”武帝立即召见田千秋，赞扬他说：“父子之间的事，别人是难说话的，你却能讲清楚，这是高祖庙的神灵让你来教我的。”立即封他为大鸿鸳鸯胪，几个月后又任命为丞相。武帝将江充家灭族。将参与追查巫蛊的苏文在渭水桥边活活烧死，在泉鸠里对太子动武的军官已升为北地太守，也被灭族。武帝造了一座思子宫，还在湖县筑归来望思台，寄托自己的哀思，为太子招魂。
晚年的武帝极其孤独，毫无天伦之乐，所以对身边出现的孩子表现出异乎寻常的喜爱。侍中金日碑有两个小儿子。常常在武帝身边玩耍，成为武帝的“弄儿”，深得他欢心。有次孩子在背后搂着武帝的脖子玩，被金日碑看见，狠狠瞪了一眼，小孩吓得赶快放手，边走边哭说：“爸爸发脾气了。”武帝立即指责金日碑：“干吗对我的孩子发脾气？”后来大儿子长大了，不守规矩，有一次与宫女在殿下开玩笑，被金日碑见到，他怕以后闹出事来，把儿子杀了。武帝得知后大发雷霆，金日碑叩头谢罪，说明了杀儿子的本意。武帝非常伤心，流下了眼泪。他也是一位老人，像普通老人一样爱孩子；但他是一位皇帝，他不得不用沉重的代价来维持他的至高无上的权威和不可侵犯的尊严，以致要杀死自己的妻子、儿孙，并且不能像普通老人那样喜欢身边的孩子。
除了太子外，王夫人为武帝生过刘闳，被封为齐王，但8年后就夭折了。李姬为他生了两个儿子，分别被封为燕王和广陵王。燕王有野心，在太子死后，认为该轮到自己了，上书要求从封地回长安，以后又隐匿逃亡者，引起武帝的厌恶。广陵王力大无穷，却喜欢吃喝玩乐，很不成器。李夫人为他生一子，被封为昌邑王，但只比武帝晚一年去世。从他的儿子刘贺即位37天就被废掉看，这位昌邑王大概不会好到哪里去。武帝不得不考虑立最小的儿子为继承人。但想到吕后的教训，担心出现年轻的太后专政的局面，犹豫再三，终于在孩子五六岁时找个借口将赵婕妤杀了。这位无辜的妇女也成了权力斗争的牺牲品，但从西汉末年和东汉的外戚之祸看，武帝此举不能不说是一片苦心，是不得不采取的防范措施，尽管当时看不出任何迹象。从个人情感说，武帝是残酷的；从汉朝的千秋大业着眼，他是英明的。不知是汲取了汉族统治集团外戚介入权力斗争的教训，还是别的什么原因，以后拓跋鲜卑建立的北魏甚至在开国之初就定下了一条更残酷的规定：凡儿子被立为太子，其母一律赐死。
太子之死终于使武帝的头脑变得清醒了些，在他的最后三年内采取了一些弥补的措施。
征和四年（前89年），重合侯马通率四万骑兵进攻匈奴，开陵侯率西域楼兰等六国攻打依附于匈奴的车师（在今新疆吐鲁番一带），车师王投降。搜粟都尉桑弘羊与丞相、御史奏请增派军队去渠犁、轮台一带屯田，并招募百姓去耕种，在沿途建造亭障。此前贰师将军李广利兵败投降匈奴，使汉军损失很大。于是汉武帝下诏：
先前有关部门上奏，要将百姓的口赋钱每人增加三十，以筹集边防费用，这会使老弱孤独更加困苦。现在又要求派士兵去轮台屯田，轮台在车师西面千余里。上次开陵侯攻击车师时，先派危须、尉犁、楼兰等六国在首都的子弟回国，让他们征集牲口和粮食迎接汉军，又由各国国王亲自率领军队共数万人配合，一起包围车师，使它的国王投降。各国的军队已很疲劳，没有能力在沿途供应汉军的粮食。汉军攻破车师城后，缴获的粮食很多，但士兵自己负载不了足够路上吃的粮食，身体强壮的吃牲畜的肉，体弱的在路上死了几千。朕征发酒泉郡的驴子、骆驼背了粮食出玉门关去迎接。官兵是从张掖郡出发的，路不是很远，但还是有很多人掉了队。
以前朕不了解情况，因为一位叫弘的军侯上书，说什么“匈奴人将马的前后脚缚住，扔在长城下，骑着马高叫：‘秦人（匈奴对汉人的称呼）！这马就赏给你们了。’”又因为汉朝的使者被扣留在匈奴，很久没有能返回，所以就派贰师将军（李广利）出兵，想作为使者的后盾，加强他们的地位。
古时候的卿大夫参与策划，都根据龟版占卜，不吉利就不行动。那次将匈奴人缚马脚的报告给丞相、御史、二千石级别的各位大夫、饱学的郎官，以至郡属国都尉成忠、赵破奴等都传阅了，他们都认为“敌人自己缚住马脚，没有比这更不祥的了”。也有人认为“这是故意要显示他们的强大，表示对付我们足足有余，将马脚缚住也比我们强”。根据《易经》占卜，得到的是《大过》中的卦，九五的爻，表明匈奴必败。民间征召来的方士、太史（国家天文台专职官员）观星望气，太卜（皇家占卜师）根据龟版占卜，都认为是吉兆，匈奴必破，是千载难逢的良机。卜辞上又说“北伐行军，到釜山必胜”。让他们为诸将打卦，贰师将军最吉利。所以朕亲自命令贰师将军向釜山进军，还特意下诏，要他一定不要深入敌境。现在证明这些意见和卜卦都是错误的、相反的，重合侯抓回来的匈奴侦察兵说：“听说汉军将要进攻，匈奴派巫师在必经之路和水源埋下牛羊，咒诅汉军。单于送给天子的马匹和裘皮，也总是让巫师先咒诅一番。缚住马脚，也是咒诅汉军。”又让人占卜，结果说“汉军有一位将军不吉利”。匈奴人常说：“汉朝极大，但汉人耐不得饥渴。缺了一条狼，就会跑走一千只羊。”（丧失一名将军，就会损失一千名士兵。）
那次贰师将军战败，士兵或战死，或被俘，或流失，朕心中一直深感悲痛。现在又要求在遥远的轮台屯田，沿途还要建兵站和供应点，这是使全国百姓背上包袱，受到骚扰，不是爱民的措施，朕不忍心听到这样的建议。大鸿胪等又提议，想募集囚徒送匈奴使者回去，给他们定下封侯的赏格，让他们到匈奴后为汉朝出气。这是连春秋五霸都不会采用的卑鄙手段，堂堂大汉怎么可以干？何况匈奴获得汉朝的降人后，总要仔细搜查，反复盘问，了解情况。
现在边塞管理松弛，出入没有严格禁止，边防哨所的长官为了得到皮毛兽肉，让士兵外出捕猎，士兵非常辛苦，但烽火传送却经常缺少。下面报上来的文书中从来看不到这些现象，以后有匈奴降人来了，或者俘虏了敌方人员后，才知道存在这些弊病。
当今最重要的是禁止对百姓苛刻残暴，制止擅自增加赋税，努力开展农业生产，切实执行养马可以减免赋税的政策，以弥补军马的缺口，使国防力量不至于削弱。各郡、国的长官都应提出增加马匹和巩固边防的具体措施，由上计吏带到朝廷来。
尽管武帝将主要责任都推给了臣下，但作为一位长期独断专行、自以为是的君主能够承认自己的过错，并且规定了切实的纠正措施，还是难能可贵的。他封田千秋为富民侯，作为“以明休息，思富养民”的象征。又任命赵过为搜粟都尉，推广代田法，以提高粮食产量。这些措施的实际效果虽不大，但标志着国家政策的重要转折，至少是将“苛暴”、“擅增赋”的势头制止住了。
司马光武帝自知不久于人世，想到了已在身边二十多年的大臣霍光，让人绘了一幅周公抱着成王接受诸侯朝拜的图画赐给他。后元二年（前87年）春，武帝在五柞宫病危。霍光哭着请示：“陛下如不幸，谁应该为继承人？”武帝说：“你没有懂我给你那幅画的意思吗？立小儿子，你像周公一样行事。”霍光叩头推让：“我不如金日碑。”金日碑说：“我是外国（匈奴）人，不如霍光，再说别让匈奴人看不起汉朝。”于是，武帝任命霍光为大司马大将军，金日碑为车骑将军，上官桀为左将军，桑弘羊为御史大夫，接受遗诏辅佐少主。第二天，武帝死，八岁的太子即位，就是昭帝。
正如司马光在《资治通鉴》中作的评论所指出的，汉武帝的晚年与秦始皇几乎没有什么区别，但汉朝没有亡，而且在昭帝、宣帝时能够中兴，原因在于武帝“能遵先王之道，知所统守，受忠直之言，恶人欺蔽，好贤不倦，诛赏严明，晚而改过，顾托得人”。
前面这些优点其实并不明显，而且武帝的改过不过三年，国内的严重危机并没有消除。关键的一点还是他“顾托得人”，对身后事做了正确的安排。在这一点上，他的确比秦始皇高明得多。
秦始皇在将长子扶苏赶到边疆去后，对继承人没有作出明确安排，却让少子胡亥随自己巡游。由于他“恶言死”（忌讳别人说到他的死），连丞相李斯等大臣都不敢问他后事。当他病重时，只是下诏令扶苏“与丧会咸阳而葬”，让他到咸阳参加葬礼，却没有明确让他即位。这份诏书固然被赵高串通李斯篡改了。但即使照样发到扶苏那里，扶苏遵诏到了咸阳，继承问题也没有最终解决。而他信用赵高，对李斯又诸多限制，更为胡亥的篡位和赵高的专权准备了条件。
而武帝从杀赵婕妤，选定霍光为首席顾命大臣。赐画，立太子，确定辅佐大臣，一步步都有计划。霍光敢请示他死后怎么办，说明他在霍光等的心目中并不是“恶言死”的秦始皇。武帝死后，燕王刘旦就声称他收到的玺书规格不对，“京师疑有变”，立即派心腹到长安活动，又串联其他宗室，谎称受了武帝遗诏。要是武帝临终前不作出明确的指示，要是武帝像秦始皇那样，那么一场内乱就不可避免。
霍光和金日碑并不是朝廷中级别和资历最高的官员，此前也没有太大的功绩，金日碑还是匈奴休屠王之子，是武帝从俘虏中提拔出来的，但两人都在武帝身边多年，武帝了解他们的人品和能力。事实证明，武帝“顾托得人”，使汉朝得以延续和中兴。即位的昭帝才八岁，执行什么政策主要靠霍光等大臣决定和维持。昭帝死后，霍光又毅然决定废掉刚立的昌邑王，另立宣帝，也体现了武帝的遗愿，使昭帝时的休养生息政策得以继续执行。
武帝宁可不立已成年的燕王、昌邑王，却立八岁幼儿，显然是深知两个大儿子的弱点，又是出于对霍光的绝对信任。因为一旦不成器的成年儿子登位，霍光的作用就会大大减弱，甚至会毫无影响，武帝的意图自然无法保证。而不预先排除母后的影响，霍光也未必能得心应手。这样的安排，的确显示了武帝的雄才大略，使他已经暗淡的晚年重新发出光彩。
