从此，“人始知桧之奸”，很多忠直之士谋划着要将这个奸人逐出国家的权力中枢。
最先发飙的是吕颐浩。
这位惨遭秦桧暗算的左相，借回朝述职的机会，串联起了同都督朱胜非、殿中侍御史黄龟年、右司谏刘棐、参知政事权邦彦等人，一同在赵构面前指责秦桧为相以来“专主和议，沮止恢复，植党专权，渐不可长”，将秦桧归类为王莽、董卓一类的小人物。
期待落空的赵构神情落寞，郁郁寡欢。他已对秦桧失去了兴趣，一纸诏令，将之贬斥为观文殿学士、掌管江州太平观，赶出朝堂。
想想不解气，又加了一条补充：永不再复用。
然而，上天并没让秦桧等多久。仅仅过了一年，左相吕颐浩遭到御史台的弹劾而被迫辞职。
登台拜相的是左中大夫、知枢密院事赵鼎，但绍兴六年（1136年）的藕塘大战，赵鼎受到了张浚的排挤，黯然辞职，外放为绍兴知府。
赵鼎这一走，秦桧的机会就来了。
这一年，出使金国的韩肖胄南归，他带来了金国的使者李永寿、王翊偕。这两个人见了赵构，就要求赵构把原籍北方的人氏悉数驱逐回北方，北人归北。
北人归北？这不是秦桧的口吻吗？！赵构猛一激灵，想起了具有特殊身份的秦桧，突然怀念起他来。之前头脑发热逼迫秦桧辞职，现在要实现向金国投降的夙愿，秦桧还是不可或缺。恰好张浚为了挤走赵鼎，在赵构面前举荐了秦桧，赵构顺水推舟，马上将秦桧从替补名单上激活，让他与赵鼎的职位做了个对调，重新回到了朝内，出任枢密使。
秦桧回来，处事低调了许多，“无所建明，惟奉张浚而已”，但似乎是在静待时机。
淮西换将，他从中不显山不露水地做了几个小动作，使得兵变被引爆，张浚哑巴吃黄连，有苦说不出。他先是和张浚一起说服了赵构，改变了淮西军归属岳飞的初衷，后来又以“督府握兵为嫌”的理由，阻止了张浚亲往庐州，为激化王德与郦琼等人的矛盾创造了客观条件。
