霍光死后不久，汉宣帝对霍氏家族动手，霍光的儿子霍禹被腰斩，霍去病的孙子霍云、霍山被逼自杀。这还不算完，被当作霍氏党羽一起诛杀的，有几千家之多。 霍家的覆灭，并不是从东市刑场的血光开始，而是从汉宣帝必须重新成为真正的皇帝开始。霍光生前权势太重，重到可以废掉登基仅27天的昌邑王刘贺。 重到群臣在未央宫中噤若寒蝉，重到汉宣帝即位后多次试探归政，霍光都能以皇帝年幼为由拒绝。这样的辅政，表面是维护汉室，实质上已经让皇权长期处在霍氏阴影之下。 汉宣帝对霍家的忌惮，并非没有缘由。登基初年，政务必须先向霍光请示，未央宫、长乐宫等禁军要职多由霍光女婿掌握，霍禹、霍云、霍山又分别占据中郎将、奉车都尉等军职。 霍家既有列侯爵位，又有京城兵权，还有亲信遍布朝廷要害。汉宣帝每次见霍光上朝，都感到“芒刺在背”，连立许平君为后，也只能借“旧剑”之语委婉暗示群臣。 许皇后之死，让皇权与霍家的裂痕再也无法弥合。霍显为了让霍成君入主后宫，收买女医淳于衍，在许皇后产后汤药中下毒，并以安池监这一差事诱使淳于衍冒险。 许皇后年仅19岁去世，留下的刘奭后来成为太子。霍显向霍光坦白后，霍光经过挣扎，仍选择压下真相，没有追究凶手，也没有向汉宣帝说明。霍光的沉默，等于用家族利益压过皇后性命，也把霍家推向不可回头的深渊。 霍光死后，汉宣帝没有立刻翻脸，反而给予最高礼遇。霍光被追谥为宣成侯，灵柩乘辒辌车，羽林卫和北军五校送葬，陵墓使用黄肠题凑和梓宫便房，子孙还被允许世代承袭侯爵。 可是这份荣耀并不意味着宽恕，更像是把霍光与霍氏子弟切开处理。霍光可以作为安汉功臣被尊崇，霍家继续控制军政要害却绝无可能。 真正的反击随即展开。汉宣帝先让霍禹接任大司马，保留霍氏体面，随后收回兵权，把实权印绶换成空名冠饰。 范明友、邓广汉被调离禁军，许广汉、史高进入京城防卫体系。魏相被提拔起来后，多次建议削夺霍家兵权和奏事权，汉宣帝又允许吏民直接上书，绕开霍山掌管的尚书台。霍家失去的不只是职位，而是过去垄断皇帝耳目的通道。 可霍家没有意识到局势已变。霍显私自扩建霍光陵墓，甚至修建帝王规格的便殿和掖庭；霍云假称有病不朝，却在上林苑纵马，甚至派奴仆代替自己上朝。 霍禹、霍山等人沉迷宴饮，不理政务。权力被收回后，霍家没有选择退让，反而在恐慌中走向冒险。霍氏计划借皇后霍成君设宴，刺杀许广汉和丞相魏相，再废掉汉宣帝，拥立霍禹为帝。 这场政变还未发动，就被马夫张赦告发。汉宣帝等待的机会终于出现，禁军连夜包围霍家府邸，廷尉府大举逮捕霍氏党羽。 公元前66年，霍禹被腰斩，霍云、霍山饮鸩自尽，霍显及霍家子弟遭到诛杀弃市，牵连者众多，连与霍山交好的杜佗也未能逃脱。 霍成君先被废居昭台宫，12年后迁往云林馆，最终自缢。霍家由极盛到灭门，只隔着2年时间，却暴露出同一个结局，外戚一旦把辅政之功误认为可替代皇权的资本，昔日荣耀就会变成清算时最沉重的罪证。
