为了避免朋党嫌疑，北京的言官不好直接告高拱的黑状。他们借着平时的文友诗社关系，拉出了南京的言官，联名给高拱来了个“京察遗拾”的处分。因为明朝实行南北两都的制度，在南京也有同样的一套朝廷班子，这边的人一般是些闲职，对北京起监察作用，大多是被贬职但因资历老，不能贬得太低就放到南京来了。所以，他们从来不怕得罪人。只要需要，他们对谁都可以提出“京察遗拾”。
迫不得已，高拱只好称病辞官，回家休整。但他并没有忘记和徐阶的恩怨。在回家之后，他注重与南京的官员来往，正好发现海瑞在应天府的任上，而应天府管辖徐阶的老家松江。徐阶虽然做官清明，但他的儿子在民间为非作歹，而且徐阶自身也囤积了大量土地。高拱搜罗了好多证据后，又准备让海瑞弹劾徐阶。
没过多久，还没等到高拱弹劾，徐阶就被皇帝贬官回家了。年轻的穆宗想自己主导朝政，当然不想让一个呼风唤雨的臣子活跃在自己的眼前。加上徐阶主张革新变法的政见，不管合不合用都是强调宗古的皇帝不愿听的，他的辞官是必然的。但史书没有作出具体记载，这就更说明了与皇帝本人的意愿有关。
面对内忧外患，在深宫被冷落太久的朱载垕一当上皇帝就开始进行弥补性的物欲享受，他一即位就要增选民女进宫。这时宫中已有宫女数千，但他认为还不够多。于是，颁发圣旨到民间搜罗美女。民间有一出叫《拉郎配》的戏曲，几百年盛演不衰，说的就是隆庆二年（1568年）朝廷在江南选宫女的风波。 据当时的史料记载，隆庆元年（1567年），江南一带民间盛传宫中要派人到江南选秀女，十名秀女一名寡妇陪送。明代纪实小说《崔鸣吾纪事》写道：“隆庆（1568年）戊辰春正月，民间相传，上遣内官某选浙直美女入御，无问官吏军民之家，敢有隐匿不赴选者，罪！邻里知而不举首者，同罪。于是有女者急于求售，年资，长幼，家世，贵践皆所不论。自京口（今镇江市）至苏、松、嘉、湖诸郡，旬日间，无分妍媸，婚配殆尽。”凡是九岁以上的女性，不论贫富美丑，都是候选的对象，其搜罗范围之广，囊括了所有未婚嫁的女性。一些家庭害怕女儿被选，进入深宫冷落一生，生死难卜，都抢着要把女儿赶紧嫁出去。连寡妇也害怕陪着宫女被送入宫中，也都争相再醮。一时找不到夫家的，走到街上见到男性就抢。传说有一个富翁雇了一个锡工在家打造锡器，一天夜里，这名锡工突然被叫起来说：“急起！急起！可成亲也。”这锡工在睡眼朦胧中，被拉到大堂上披红戴花，与富翁的女儿成了亲……这大多是后来人们杜撰的，但仅仅在位六年的穆宗朱载垕能在民间有这么一段戏剧性的插曲，足以证明这个皇帝当时是多么荒唐。他的荒唐成就了想象丰富的戏剧家，也成就了想一心干大事的政治家，他的老师张居正能有如此的皇帝学生也算是很幸运了。
对于朝政，朱载垕只知道独揽大权，但具体的操作却一概不知，只能请教自己的老师张居正。在徐阶隐退之后，内阁只剩陈学勤、李春芳和张居正。其余两人都没有多大谋略，也不愿有所作为，只是无所事事，张居正正好想利用这个机会独揽内阁大权。但没过多久，为了体现自己的仁政，穆宗把因为得罪严嵩而被发配到广西荔波的赵贞吉请进了内阁。因为赵贞吉的资格最老，当仁不让地做了内阁首辅，张居正又一次与权力中心擦肩而过。面对如此个性的皇帝学生，他也是如坐针毡，既想赶紧主政，又怕干预过多遭到像高拱和徐阶一样的下场。
而与此同时，一群侠客活动在张居正、高拱和徐阶之间。有一个叫吕光的，因为看到徐阶的儿子被正法，要发配充军，而自己又曾经得到过徐阶的帮助，于是想借此机会还个人情，特地赶来找张居正，让他看在徐阶曾提拔栽培自己的分上，站出来说句话，帮徐阶一把。但此时的张居正既不好推辞，又怕自己帮了徐阶又会得罪高拱。于是，他顺手把这人推给了高拱，让他去找高拱求情。他顺便捎话希望高拱能复出，他希望利用资格更老、谋略更胜一筹的高拱为他赶走赵贞吉。
另外还有一个叫邵方的侠客，他的几个方士朋友曾经给嘉靖皇帝炼丹，这些丹药不仅使皇帝沉迷于道教，而且送了他的命。徐阶一上台就马上把这些方士抓了起来，准备正法。但由于其他事务繁忙，还没来得及处理，那些人还关在大牢里。他们的伙伴邵大侠四处走访，希望能拉点关系保他们一命。正好这个邵大侠和吕光曾经都是白莲教的成员，互相认识，走到一起一合计，觉得应该去找高拱。他们答应高拱，利用他们在皇帝身边一个叫李芳的太监给高拱说说好话，让他重新返回北京。希望高拱回到内阁后，在皇帝那里吹吹风，把他们的兄弟放出来留条生路。另外，吕光又说希望他做了首辅后，能给徐阶的儿子留条活路。一心想复出的高拱满口答应，吕光也把高拱愿意复出的事情告诉了张居正。
没过多久，在张居正和另外几个内阁成员的一致建议下，皇帝果然下诏重新请高拱入阁，而且是做首辅。一心想马上投入整顿荒废的政务的高拱在回家隐居两年后再次入京，而张居正也以促成高拱再次入阁的功臣自居。虽然高拱对此并不买账，但他对张居正的做事为人是极其欣赏的。
为了防止徐阶卷土重来，高拱忙于再次“整顿吏治”调整官员。与此同时边防吃紧，倭寇刚被戚继光肃清，北部蒙古遗部又进犯边境。高拱只好任命他信任的张居正全权负责处理边防事务。
