霍光作為漢武帝的托孤重臣，自漢昭帝年間便開始大權獨攬，而霍氏家族的權柄更是到漢宣帝初期達到巔峰，甚至已經嚴重脅迫到了皇權，以致漢宣帝每次見到霍光都感到如芒刺背。然而，當霍光于地節二年（前68年）去世后，漢宣帝卻僅僅用了兩年時間，便徹底鏟除了霍氏家族，那麼毫無根基的漢宣帝，是如何做到這一切的呢？
霍氏家族的崛起，與霍光密不可分，作為霍去病的異母弟，霍光正是通過霍去病的關系得以入朝為官，長期侍奉在漢武帝身邊，深得漢武帝的寵信。后元二年（前87年），漢武帝臨終之際，指定霍光擔任大司馬、大將軍，讓其與金日磾、上官桀、桑弘羊一起輔佐時年僅八歲的昭帝劉弗陵，而霍氏家族的崛起正是自此而起。
元鳳元年（前80年），桑弘羊、上官桀因與蓋長公主、燕王劉旦意圖發動政變，誅除霍光，廢黜昭帝，事泄被誅。由于金日磾早在六年前便已經去世，結果導致 四大輔臣就剩下了霍光一人，再加上漢昭帝的全面信任，以致霍光獨領軍政大權。
此后，自漢昭帝駕崩之前開始，霍光便大肆提拔霍氏子弟和親信，使得自己的勢力遍布朝野。到元平元年（前74年）漢宣帝即位以后，霍氏家族的權力達到巔峰，他們不僅牢牢掌握了朝政大權，甚至全面控制了軍隊系統。
我們來簡單梳理一下，漢宣帝即位之初，霍氏家族的權力有多可怕：
作為核心人物的霍光，擔任著大司馬、大將軍、領尚書事，牢牢把持著軍政大權；
霍光之子霍禹，霍光侄孫霍云，皆任中郎將，統領皇帝侍衛；
霍光侄孫霍山，任奉車都尉、侍中，統率禁衛部隊胡越騎兵；
霍光女婿范明友，任未央宮衛尉、度遼將軍，統領未央宮禁衛軍；
霍光女婿鄧廣漢，任長樂宮衛尉，統領長樂宮禁衛軍；
霍光女婿任勝，任中郎將羽林監，統領皇宮宿衛；
霍光女婿趙平，任騎都尉，統領羽林騎（即衛守建章宮的軍隊）；
霍光孫女婿王漢，任中郎將，統領皇帝侍衛；
霍光外甥女婿張朔，任光祿大夫、給事中，侍從皇帝、參議朝政。
以上還不算霍光的親信黨羽，僅是霍氏子弟便已經實現了對漢宣帝的全方位包圍，這就是漢宣帝每次見到霍光，「內嚴憚之，若有芒刺在背」的原因。試想，作為皇帝的漢宣帝，在身邊都是霍氏子弟的情況下，別說親政掌權了，恐怕連睡個安穩覺都不太可能。
漢宣帝即位之初，霍光曾表示愿意歸政于皇帝，漢宣帝非但不敢接受，還得裝出一副自己無法理政的樣子，讓霍光繼續秉持朝政。于是，霍光便繼續把持著朝政，群臣凡是有事，都要先請示過霍光以后，然后再向漢宣帝稟報，而漢宣帝對此根本無可奈何，甚至面對霍光還要作出虛己斂容，禮下之已甚的姿態。
漢宣帝的態度，顯然助長了霍氏家族的囂張氣焰，霍光的妻子霍顯為了進一步控制皇帝，便想著將自己的女兒立為皇后，群臣阿附霍光，紛紛上書附和。漢宣帝可不想將自己的枕邊人都換成霍家人，更何況許平君乃是在其流落民間是嫁給的自己，漢宣帝不愿辜負于她，堅持立許平君為后。
結果，漢宣帝此舉激怒了霍顯，她竟然趁著許平君臨產之機，指使女醫官淳于衍將其ㄉㄨˊㄙˇ。許平君ㄙˇ后，霍光幼女霍成君于本始三年（前71年）入宮，先封婕妤，后于次年三月被正式冊封為皇后。
漢宣帝雖然也懷疑許平君并非正常ㄙˇ亡，但迫于當時的形勢，非但沒有辦法追究，反而還要裝出寵愛霍皇后的樣子，而霍成君則憑借著娘家的威勢，專寵于后宮，由此可見漢宣帝當年的窘境。
即便是在霍光去世以后，霍顯和霍成君甚至還曾想ㄉㄨˊㄙˇ已被立為太子的許平君之子，由此可見霍氏的囂張氣焰。
霍光作為霍氏家族的核心人物，霍氏家族的覆滅便是從霍光去世開始的，可即便霍光于地節二年（前68年）去世，但當時的霍氏家族畢竟權勢滔天，而漢宣帝又長期不曾親政，想要短時間內將其鏟除并不容易。
然而事實上，漢宣帝在霍光去世之后，僅用兩年便完成了絕地反擊，徹底鏟除了霍氏家族。那麼，漢宣帝又是怎麼做到的呢？
第一步：剝離霍氏權力，收回朝政大權。霍光去世后，漢宣帝不僅將其厚葬，葬禮規格甚至直逼皇帝。之后，漢宣帝又封霍禹、霍云、霍山為侯，雖然罷去了霍禹右將軍的屯兵，但卻提升其為霍禹為大司馬，領尚書事，完全擺出了一副依舊將大權交給霍氏家族的態度，其實這僅僅是漢宣帝用來迷惑霍氏的煙霧彈。
不久，漢宣帝便宣布親自處理朝政，五日五日一聽事，并下令凡吏民奏事不通過尚書，直接向皇帝報告。此舉乃是皇帝親政的必然，在霍光已經去世的情況下，自然沒有人敢于對此予以反對，然而漢宣帝此舉卻等于直接廢除了霍禹審閱奏章的權力，領尚書事完全成了一個空頭銜。
在收回朝政決策權后，漢宣帝開始著手安插親信勢力，一是大肆 提拔許氏、史氏、王氏外戚，許氏外戚便是漢宣帝原配許平君的親族，如許平君的父親許廣漢，叔父許舜和許延壽等；史氏外戚則是漢宣帝祖母史良娣的親族（漢宣帝是史良娣的母親養大的），如史良娣的侄子史高、史曾、史玄等；王氏外戚則是漢宣帝生母的親族，如王無故、王武等。 由于這些外戚多為內朝官，且官職不高，因此并沒有受到什麼阻力。
另一方面，漢宣帝則是 通過摻沙子分化外朝勢力，例如提拔與霍光有舊怨的魏相出任御史大夫、給事中；提拔金日磾的侄子金安上為侍中，掌管宮門警衛；提拔車騎將軍張安世為大司馬，兼領尚書事。這三人之中，雖然魏相和金安上都是漢宣帝心腹，但張安世卻是霍光一黨，如此一來阻力便小了很多。 漢宣帝提拔魏相和金安上是為了和霍氏打擂台，而天張安世無疑是為了分化霍氏的權力。
第二步：大肆調整職位，解除霍氏軍權。漢宣帝的初次人事調整，雖然也觸動了軍權，但只是提拔了幾個郎官，并任命張安世之子張延壽為光祿勛，用來確保皇宮安全。因此，霍氏雖然被搞的人心惶惶，但也沒有感到太大的脅迫，然而就在不久后，漢宣帝突然對霍氏的軍權動手了，而且極為雷厲風行。
解除霍光女婿范明友未央宮衛尉、度遼將軍之職，調任光祿勛；
解除霍光女婿鄧廣漢長樂宮衛尉之職，調任少府；
解除霍光女婿任勝中郎將羽林監之職，調任安定太守（今寧夏固原）；
解除霍光女婿趙平騎都尉之職，調任散騎都尉、光祿大夫，赴外地屯兵；
解除霍光孫女婿王漢中郎將之職，調任武威太守（今甘肅武威）；
解除霍光外甥女婿光祿大夫給事中之職，調任蜀郡太守（今四川成都）；
如此一來，除了霍山、霍云之外，霍家的軍權幾乎喪失殆盡，而且霍氏眾人力量被嚴重分散，一部分留在了朝廷，另一部分則被發配到了邊窮地區。 原來統領胡越騎、羽林及兩宮禁衛的職位，全部改由許、史兩家外戚統領，直到此時，漢宣帝才算真正解除了霍氏對皇權的脅迫。
第三步：迫使霍氏謀反，一舉鏟除霍家。漢宣帝接連兩次調整，無疑極大震動了霍氏族人，而就在他們不知道是該接受現實，還是激烈反抗的時候，又得知了當年霍顯ㄉㄨˊㄕㄚ許平君的真相，這更加深了他們的恐懼。他們知道，如果漢宣帝得知許平君被ㄕㄚ真相，肯定不會放過霍家，因此開始積極謀求反抗。
不久，趙平的門客石夏和霍云的門客張赦，建議霍氏聯合上官太后（霍光的外孫女）發動政變，廢掉漢宣帝。然而，事情泄露之后，漢宣帝卻并未將兩人抓捕，而是下了一道旨意，以霍家子弟怠慢太后，官家馮子都屢屢犯法為由，將霍云、霍山全部罷職回家，并對霍氏嚴加訓斥。緊接著，霍云的舅舅李竟又因交通諸侯王被捕，這更加深了霍家的恐慌。
情形的急速惡化，終于促使霍氏族人下定決心謀反，他們制定的方案是：由上官太后出面宴請博平君（漢宣帝外祖母），并請許廣漢和魏相作陪。然后由鄧廣漢和范友明帶人以上官太后的名義將許廣漢、魏相ㄕㄚㄙˇ，再由上官太后頒布懿旨，廢掉漢宣帝。
然而還不等計劃實施，霍云便被調任玄菟郡太守，緊接著霍山又因泄密被捕，霍顯上書希望能夠出錢贖罪，漢宣帝對此置之不理。
直到此時，漢宣帝才公開了霍氏陰謀造反的事情，得知事情泄露，霍云、霍山、范友明先后自ㄕㄚ，霍顯、霍禹、鄧廣漢則被抓，霍禹被腰斬，霍顯及她的幾個女兒兄弟也都被處ㄙˇ，皇后霍成君則被幽禁昭台宣。
至此，從霍光于地節二年（前68年）三月去世，到霍氏家族于地節四年（前66年）七月被鏟除，漢宣帝僅僅用了兩年多時間，便完成了絕地反擊。此后，漢宣帝又大肆清除朝中霍氏一黨，遭到霍氏牽連而被定罪誅ㄕㄚ滅族的便達到了數千家。
