来年春日，武帝趁着闲暇，出游五柞宫。宫中长着五柞树，枝繁叶茂，绿荫如盖，武帝流连忘返，一住数日不归。不料风寒砭骨，病入膏肓，遂致长卧不起，连皇宫都回不去了。
霍光一直随侍在侧，见情况不妙，流着眼泪探问道：“陛下万一遭遇不讳，谁做您的接班人？”武帝气息微弱道：“朕不是送你周公辅成王图么？你肯定已看出些意思，我早决定让小儿子做我接班人，你只管行使周公之权就是。”
霍光连忙磕头，说：“我不如金日磾贤能，还是把重任交给他吧。”
金日磾也在一旁，应声道：“我是胡人，来辅佐幼主，难以服众，不会有人把我当回事，还是霍光更为合适。”
武帝吃力地说：“朕心里有数，你俩都是厚道纯正的忠臣，就一起做顾命大臣，尽心尽力，共辅幼主吧。”
两人不敢多话，诺诺而退。
武帝又想，除霍金两位外，还有丞相田千秋，御史大夫桑弘羊，太仆上官桀，都值得信赖，也可让他们协同辅政。于是令侍臣起草诏书，先立弗陵为皇太子，再进霍光为大司马大将军，金日磾为车骑将军，上官桀为左将军，加上丞相和御史大夫，组成五人顾命班子，共担大任。这五人班子，武将占了三个，牵头人也是大将军霍光，看得出武帝对武将的倚重和信任。事实也是皇位更替的关键时候，武将兵权在握，作用绝对大于文臣。也就是说，到时五人班子里真正管用的，恐怕还是三个武将。
交代完一应后事，武帝已无所牵挂，驾崩而去。霍光五人凭据武帝遗诏，奉太子弗陵即位，这就是昭帝。昭帝比当年的成王还小，仅仅八岁，不可能亲政，朝廷内外，大事小情，都由霍光几位主持。又考虑昭帝小小年纪，生活无法自理，生母钩弋夫人先已赐死，只好召入盖长公主，将昭帝交给她服侍。盖长公主是昭帝大姐，内勤有她打理，自然没话可说，霍光可腾出时间和精力，全力处理军政事务。
武帝威高望重，过去有他老人家坐镇宫中，没人敢轻举妄动，走路都蹑手蹑脚的。如今老皇帝故去，昭帝年纪还小，又如何镇得住阵脚？霍光身为五人顾命班子班长，深感责任重大，不敢稍有懈怠，白天黑夜镇守宫中，以防不测。还在殿西专门辟出一个画室，将《周公负扆图》挂在里面，有空就进去看看，以警醒自己，千万不能忘了先帝遗嘱。
