上官安推波助澜道：“先帝在世时，父亲身为太仆，霍光不过是奉车都尉，两人位置不相上下。后来又同为顾命大臣，功劳和政治声望也差不多。就是如今他坐镇朝中，一手遮天，可咱家也不是吃素的，父子都是将军，家女还做了皇后，要名望有名望，要地位有地位，要势力也有势力。想不到却处处受霍光制约，办个什么事还得看他脸色，他不高兴可以对你置之不理，实在是太不公平了。”
父子两人恨死霍光，两家亲戚从此结下深怨。盖长公主得知霍光不肯通融，叉着五指将情夫捂得死死的，想封侯封不着侯，想谋官谋不到官，也义愤填膺，视霍光为眼中钉，肉中刺，恨不得立即拔去才舒服。
为着这丁外人的事，上官家和盖长公主就这样走拢来，成为死党，一起密谋策划，怎么才能除掉霍光。又觉得霍光树大根深，不是那么容易对付的，又去联络昭帝哥哥燕王刘旦，以争取他的支持。
刘旦得不到帝位，认为是霍光做的手脚，一直耿耿于怀，这下盖长公主和上官家主动递上橄榄枝，自然积极响应。这可是翻身得解放的大好机会，只要扳倒霍光，昭帝失去依靠，还不只好拱手将皇位让给俺刘旦？
三股力量于是合到一处，蠢蠢欲动，只等霍光哪天一不小心，露出什么破绽，好下他的手。
霍光已陷入十分险恶的境地，却还浑然不知。他哪想得到，拒绝给丁外人封侯授官，竟会激怒那么多人，成为众矢之的？他也没工夫琢磨这些烂事，只道上官桀父子是自己亲家和女婿，不会因一个丁外人跟他对着干，更不可能联络盖长公主和刘旦，预谋大动作。
也是霍光要做的事情太多，容不得他环顾左右，整天去琢磨小人们的心思。别的不说，就说武帝朝开疆拓土，打了几十年仗，留下这么个烂摊子，就够他霍光收拾的。谁都知道打仗就是烧钱。钱从哪儿来？天上又不掉钱，只能来自老百姓。为保障军队巨额开支，武帝别无良法，只好涸泽而渔，实行盐铁官营和酒榷均输政策，赚钱的生意由公家垄断不说，还动不动强迫老百姓捐款捐物，无偿承担徭役。这么做的结果，是老百姓变得穷困潦倒，国库也空空如也，待到武帝去世的时候，大汉已成空壳一个，日子已快过不下去。昭帝还小，霍光是当家人，当家人最知生活的艰难，意识到再不改革，继续采取武帝时期的经济政策，逼得老百姓生存不下去，像秦朝末年样又冒出一伙陈胜吴广，揭竿而起，致使国将不国，自己就成千古罪人了。
霍光的设想，一是取消盐铁官营，改为民众私营；二是废除各项苛捐杂税，留给老百姓生存空间，休养生息，恢复民力；三是奖励耕织，大力发展生产，把经济建设搞上去。经济活跃了，老百姓袋子鼓了，小河涨水，大河自然会满起来。不过霍光也知道，改革阻力非常大，不是喊改就改得掉的。旧的政策和制度在数十年的执行过程中，导致大量财富集中到大官僚大地主和大商人手里，造就了一个庞大的利益集团，改革现行体制，必然会触犯这些利益集团的既得利益，他们肯定不干。且制定盐铁官营和酒榷均输政策的老臣，比如同是顾命大臣的御史大夫桑弘羊等人，还待在政治舞台上，他们也是这个利益集团的代表人物，改革方案在他们面前就没法通过。
