实际上昭帝继位之初，霍光就已领尚书事，位在丞相之下，权在丞相之上，因此很便当地就把丞相、九卿、将军、列侯、御史、博士叫到未央宫开会。霍光说：昌邑王行为昏乱，恐怕会危害社稷，诸位看怎么办？
众人大惊失色，目瞪口呆，支支吾吾。
田延年却离席上前手按剑柄说：诸位，这事没什么好商量的。先帝托孤于大将军，就因为大将军忠诚贤德，能安定天下。如今群下鼎沸，社稷将倾，大将军虽死，又有何脸面见先帝于九泉？请速速决定。有迟疑者，看剑！
群臣闻言，无不惶恐，便拜伏在地异口同声地说：万民之命系于大将军一身，我等唯大将军之命是从！
于是霍光请出皇太后（也就是他的外孙女），盛装坐于未央宫中。侍卫持刀，武士持戟，陈于殿下。文武百官依次上殿，然后叫来昌邑王，由尚书令宣读弹劾奏章。
这样的架势，当然同样没有商量。太后甚至没等尚书令读完奏章，便已震怒。由丞相杨敞领衔的弹劾请求也得到批准，霍光便命令昌邑王谢恩受诏。
昌邑王却还稀里糊涂。他引用《孝经》上的话为自己辩护说：天子有争臣七人，虽然无道也不失天下。
看来，这位昌邑王确实够呛，他的引经据典也不伦不类。《孝经》那句话的意思是：一个天子，如果有三公四辅
鼎力辅佐，直言匡正，就无论如何也不会丢失天下。那么请问，他的身边有这样的争臣吗？
恐怕没有，多半只有小人。
霍光却懒得跟这废物
嗦。他说：被太后废了的怎么还是天子？说完，上前抓住昌邑王的手，解下皇帝的印玺绶带交给太后。霍光还说：大王自绝于天，臣等却不敢辜负社稷。请大王好自为之，臣等恕不奉陪了。
短命皇帝刘贺就这样失去了帝位，他的随从二百多人则统统被就地正法。临刑前，这些人哭着喊着说，悔不该没早早杀了霍光。当断不断，反受其乱呀！
昌邑王被废之后，故太子刘据之孙刘病已被立为天子，是为汉宣帝。宣帝继位时已十八岁，却不敢亲政，大事小事都取决于霍光，尽管霍光是表示要归政于天子的。
刘家的天下，其实姓了霍。
实际上直到霍光病卒，宣帝才收回权力，这是六年以后的事。此后又用了两年时间，才消灭了霍家的势力。即便如此，宣帝仍心有余悸。他说，此前每次出门只要与霍光同车，就如芒刺在背，坐张安世的车才放松。
顺便说一句，张安世是张汤的儿子。
堂堂大汉皇帝，居然伴臣如伴虎，可见外戚是何等威风。上官桀急于成为外戚，一点都不奇怪。
当然，上官桀是失败的外戚，他是在与霍光反目为仇后一败涂地的，正如武帝初年窦婴与田的两败俱伤。同样，霍氏家族遭到清算和清洗，也与当年的吕氏无异。