许敬宗这时又在一旁煽风点火道：“这样的官员，实在是罪不容诛啊！”
这下彻底闹翻了，本来高宗想大治他，后来武则天想到这毕竟是一位新起用的官员，而且本来也没有什么事情，罪不至死，于是只是下令免了他的宰相一职，贬到虔（今江西赣州）做刺史罢了。而且，他的两个儿子也被免了官。这一件庄稼引发的纠纷让许圉师付出了不相匹配的代价。
还有一个人，武则天其实一直以来想要收拾的，是那个为她办过许多事情的李义府。这个人本来可以稳稳地坐好他的地儿，可是他太不老实了，武则天知道这是个不折不扣的小人，一直到她实在不能再容忍下去了，李义府被彻底治罪。
龙朔三年（663年）的时候，李义府正做右相典选，这是一个专门选拔官员的活儿，可以说是一个肥得流油的差事，他倒也会钻营，在其位“谋”其事，专门做些买官卖官的事儿，对于那些经他手的官员选拔，不看政绩，只看金钱，一时间弄得大臣颇为不满，百姓怨声载道。这之前武则天和高宗都警告过他，可是他仍不往心里去，权作左耳听右耳出。这让高宗颇为生气。
李义府素来人品不怎么样，也得罪了不少人，就在这时候，有人瞧准了，整治他的时机到来了。
有一个自称为杜元纪的方士，这一天来到李义府的府上求见，神秘兮兮地对他说：“你的府第有狱气啊，如果想消除这灾祸，得用20万缗来抵消。”
本来李义府对这话是将信将疑的，可是看着杜元纪自信的样子，就宁可信其有不可信其无。这一来，他还真的想方设法四处敛财，越发的放纵无度了。
