刘询即位后的第六年，他的心腹大患霍光终于死了。出于面子的考虑，刘询亲自参加了霍光的葬礼，按照皇帝的待遇厚葬了霍光，并且给霍家的一众人员加薪升职，以稳住人心。与此同时，刘询觉得时机已经成熟了，他开始亲政，并且开始培养自己的势力。他重用御史大夫魏相，让魏相以给事中的身份参与朝中的机密决策，后来又提拔魏相做了丞相。继而任命邴吉为御史大夫，又委以他的岳父平恩侯许广汉以重任，逐渐把权力收归己手。
等到羽翼渐丰，刘询开始逐步削弱霍家的势力，并暗暗决定，最后将他们一网打尽。刘询的夺权行动先从后宫开始。原来，许皇后死了以后，霍光调动一众大臣，再一次将皇后的位子推向了自己的女儿，刘询只能在心里万般不愿意的情况下，立了霍成君为皇后。但是，霍皇后与许皇后行事完全不同，霍皇后为人虚假，骄横跋扈，且奢侈荒唐，在宫中并不是很得人心。而相反，许皇后为人宽容仁厚，崇尚节俭，深受后宫众人的爱戴。宣帝对霍成君采取的行动不但没有遭到宫中一众人等的反对与愤怒，反而受到了热烈的赞扬。宣帝对这个夺取自己心爱女人的毒妇可以说是恨之入骨，他没有赐死她，而是将她打入冷宫，慢慢折磨她，以发泄他隐藏多年的愤恨。
另一方面，刘询也加大了对霍氏一族的清算力度。他明里提拔霍光的儿子为大司马，但是又剥夺了他的实际军权。剥夺了霍氏一族的禁卫军统治权，把霍光的两个侄女婿调离了中郎将和骑都尉的位置，而是让自己的亲信担任南北军和羽林郎的统帅。面对宣帝如此大规模的夺权行动，霍氏一族稳不住脚了，他们决定造反！宣帝就等着他们造反呢，他已经备足了足够的兵力，那些叛军在严阵以待的汉宣帝面前不堪一击，很快就土崩瓦解了。在西汉一直把持了十几年朝政的霍氏一族终于覆灭，汉宣帝在登基数年后，终于实现了他的绝对统治。
