其实在这之前，高宗已经对李义府警告过，他曾对李义府说：“听说你儿子、女婿平时做事都不谨慎，有很多毛病被人不齿。我也为你掩盖过，只是没对你说过罢了，你回去应该好好说说他们，以后再也不要这样了。”可是李义府心里颇不以为然，不但没有悔过，反而向高宗发问说：“谁向陛下说的这些？”高宗说：“只要我说得对，你干吗要问我怎么知道的！”李义府拒不认错，缓步而去，高宗居然也都容忍了。
这一次，高宗真不想再忍下去了，索性，把这两个人全都贬走。武则天也觉得应该杀一杀李义府的嚣张气焰了。李治下诏，将杜正伦贬为横州（今广西横县南）刺史，李义府被贬为普州（今四川安岳县）刺史。
人走茶凉。就在李义府前脚被贬后，马上就有人在后脚落井下石。一个是李崇德，马上把李义府的名字从家谱上除去了。另外一个人，是吏部尚书唐临。
吏部尚书唐临本是长孙无忌一派的人，他见李义府被贬出中央了，大为兴奋，以为扳回局面的时机已经成熟。他把素与李义府有怨的张伦调为剑南道（今四川云南一带）巡察使，准备好好收拾一下这个不知耻的李义府。
唐临还保奏与来济关系不错的许炜为江南道巡察使，以保护被贬在台州的来济，等待将来翻身的机会。
这两道奏章让武则天有点摸不到头脑，于是找来了许敬宗询问。这一听，大吃一惊。原来，张伦与李义府素来不和，现在李义府被贬为普州刺史，唐临想保张伦为剑南道巡察使，这官职在李义府之上，很容易寻个李义府的不是，办他个罪名打发掉。至于许炜，和来济的关系很不错，现在请他来出任江南道巡察使，自然可以保护来济，留得青山在，不怕没柴烧。
武则天倒吸了一口冷气，没想到关陇势力这百足之虫死而不僵，她马上去找李治，说唐临玩弄权术云云，理应查办。
高宗相信了这话，立刻贬了唐临的官。这一来，也断了关陇一派最后的幻想。不久唐临就死在了潮州刺史任上，终年六十岁。武则天接着又提议，让许敬宗代李义府为中书令，另派大理寺卿辛茂将兼任侍中。
