这个时候，褚遂良外贬已有一年多，侍中韩瑗上奏，想说服皇帝把褚遂良召回，重用有真才实学的大臣。他奏道：“朝廷贬谪贤良之臣，向为风气败坏之兆。遂良体国忘家，乃国之老臣，无闻罪状，即遭贬谪，内外大臣、百姓无不叹惋。遂良虽有忤君之罪，然颠沛经年，陛下何不怜而赦之乎？”
高宗对韩瑗的上奏并不上心，只是应付似地回答他说：“遂良之情，朕亦知之。然其悖戾好犯上，故而责之。卿何必言重？”
韩瑗、来济见高宗的话有所松动，便慨然力争：“遂良乃社稷忠臣，为谗谀之人诋毁。陛下无辜弃逐旧臣，恐非国家之福。”
李治很明白他们这话说的是什么意思，心里颇有不快，可是韩瑗却不懂得察言观色，揣摩圣意，一着急，竟然说：“赫赫宗周，褒姒灭之。臣不愿见唐室之衰亡也！”
这一下祸惹大了。
高宗听了怒气大作，吼道：“你下去吧！”
就在韩瑗说这些话的时候，武则天正在帘后，但始终没有吱声。她观察得很细，心中已然有数。
显庆二年（657年）闰正月，高宗和武则天行幸洛阳宫，在这里住了下来，并于当年底宣布将洛阳定为东都。后世有史家说，因武则天在长安宫中常见王皇后、萧淑妃的鬼魂作祟，故有此避祟之举。而实际上，是因为唐疆土已比前朝有所扩大，政治中心南移，是为便于统治。
到了三月份，不知为什么，关陇一派似乎是想以退为进，建议高宗，把褚遂良从潭州（今湖南长沙）调到更远的桂州（今广西桂林）任都督。这也可能是为了让褚遂良再远离政治中心一些以避祸。
他们已经发觉武则天力量的突飞猛进，和她正面对抗，赢的概率不大了。很快，一场更大的政治暴风雨便把这一批旧老冲洗得干干净净。
显庆二年七月，武则天指使许敬宗和李义府向皇帝上奏，说韩瑗、来济和褚遂良正暗中策划发动叛乱。接下来的事情当然是意料之内的，皇帝素来对叛乱这个话题极为敏感，大惊之下也不查明事情的真相，韩瑗、来济便被赶出朝廷。韩瑗被发配到了海南岛的振州做了刺史，来济到浙江的台州做了刺史，并且终身不准入朝。褚遂良被贬到了爱州（今越南清化）做刺史。一个比一个偏远。就连以前那个王皇后的舅舅柳奭，现在虽然已是成不了什么气候的老人，早就贬到荣州（今四川荣县），这次也受牵连，再贬到象州（今广西象州县）为刺史。
褚遂良被一贬再贬，心情恶劣可想而知。当初的倔强劲儿早已消失，只有上表乞怜。他说：“先帝临终时，臣独与无忌二人受遗诏，陛下当时哀恸，臣曾加以宽慰，陛下手抱臣颈。臣与无忌立刻奉陛下还京，处理大事，致使内外安宁。臣力小任重，动辄得罪，今成蝼蚁微贱之躯，乞陛下哀怜！”
这样一纸声泪俱下的表上去之后，高宗不理。高宗的冷漠，给褚遂良的身心打击很大，第二年，他就在爱州郁郁而终，时年六十岁。
这样，关陇旧势力已经被慢慢地分化瓦解得差不多了。武则天明白，现在还剩下一个最难对付的长孙无忌。
