在霍光的一手导演下，皇太后下诏，列举了昌邑王“不可以承宗庙”的种种恶习，废黜只做了二十七天皇帝的刘贺。
霍光常常被后世诟病的，就是这一次的“擅自废立”，正统的腐儒们视之为大逆不道，编织了一顶“行伊霍之事”的大帽子，良莠不分地扣在废立当朝天子的人臣头上。
霍光在行事前并非没有顾虑，没有思想准备。事前他尽力为自己的行动寻找可资依托的根据，询问田延年有没有过类似的先例；事后他竭尽所能地做着弥补，当宣读完皇太后诏令，刘贺交回了天子玺绶，是霍光扶着刘贺走下了大殿，亲自将其送到设在京师长安的昌邑王府，且满怀愧疚地对刘贺说：臣只能负王而无法对不起汉家江山社稷了，原谅臣从此不能侍奉您！
我们说过，如果没有霍光的力挽狂澜，西汉可能在刘贺这里便戛然止步，遗憾的是，历代道学家们手捧着圣贤书，拘泥于条条框框之中，他们宁愿山河破碎、生灵涂炭，而不愿丢弃清规戒律、祖宗章法。这就是霍光遭人非议的根源。站在黎民福祉的角度，后世应当为之庆幸，汉武帝没有看错人，挑选了霍光这样一位忠诚不二富有责任感的贤能臣子来辅佐汉室，他悉心照看大汉王朝的主人翁责任感，使其无法做到眼见昏君无能而袖手旁观；他可以背负欺君罔上的恶名，但不愿看到江山崩塌、百姓遭殃，这无疑是一个心底无私的大丈夫才能做到的事情。
当然，废黜刘贺，客观上也给霍光带来了更大的威名，常规的思维，能把皇帝拉下马的人，何所不能？从此霍光独霸朝纲的名声更加远播。
霍光再次为大汉选择的天子是流落民间的皇孙刘病已。
如果站在个人荣辱与家族门庭光耀的角度，霍光选择刘询（刘病已登基后用名）同样是欠考虑的。这位汉宣帝正是当年那个遭巫蛊之祸被追杀的戾太子刘据的孙子，身上流着皇家的血液，却自幼流落民间，漂泊藏匿、受尽屈辱，过着惊恐不安的生活，还曾险些被处死。长期的底层生活使他熟悉和了解民生疾苦，但同时也积压了一腔的怨气。霍光给自己身边埋下了一颗定时炸弹。
一个是左右朝政的外姓人，一个是咸鱼翻身的王室后裔，特殊的君臣关系决定了刘询跟霍光在一起时，心底难免别扭，用刘询本人私下的话说叫若“芒刺在背”。但这个苦难中长大的汉天子很有心计，他暂时明智地选择了韬光晦迹，听命于大将军霍光。而这样一种貌合神离的微妙关系，出现裂痕是迟早的事情。
汉宣帝被霍光扶上皇位，遵循礼尚往来的游戏规则，他马上想到要给霍光相应的回报，以此来换取自己皇位的稳定。——玩小心眼，大多来自小民，刘询在这一点上令他的祖辈们望尘莫及。汉宣帝郑重颁诏：“夫褒有德，赏元功，古今通谊也。”话说得很冠冕堂皇，朕是按照惯例行事，绝无拍马溜须示弱之嫌，“大司马大将军光宿卫忠正，宣德明恩，守节乘谊，以安宗庙。”在刘询看来，大将军正直忠信无出其右，故再封一万七千户，赏赐黄金七千斤，钱六千万，杂缯（丝织品）三万匹，奴婢一百七十人，马二千匹，豪华庭院一处。
同时敞开大门奉送霍家子弟高官厚禄，霍光的儿子霍禹和侄孙霍云做中郎将，霍云的弟弟霍山任奉车都尉，霍光的两个女婿分别担任东西宫卫尉，“昆弟诸婿外孙皆奉朝请，为诸曹大夫、骑都尉、给事中，党亲连体，根据与朝廷。”任凭霍氏家族盘根错节几乎已经控制了整个朝廷。
霍光一度想归政于天子，人家刘询不受，并且要求大臣们“诸事皆先关白光，然后奏御天子。”政事你们都先给大将军报告，然后再来告朕。“光每朝见，上虚己敛容，礼下之已甚。”在朝堂上，刘询装出一副虚心听命的样子，尊重霍光到了让人觉得过分的程度。
汉宣帝刘询明显采取的是任霍光为所欲为的策略，一切都把大将军推到最前面。也许是年龄的关系，也许来自于刘询蓄意的纵容，客观地说，一生谨慎的霍光，晚年多少有些糊涂了，事情做得过头了。他似乎无暇坐下来琢磨一下，如今坐在龙椅上的这位，既不是年幼羸弱的刘弗陵，也不是嗜酒好淫的刘贺，而是圆滑世故的刘询，汉天子一味顺从背后掩藏着的极度不满，霍光竟然毫无察觉。
