7月18日，毛泽东从武汉回到北京。情况随即发生变化。有些文章曾说毛泽东回京后只偏听江青等人的汇报，导致作出撤销工作组的决定。事实上毛泽东既听了陈伯达、康生等人的汇报，也听取了刘少奇等常委同志的汇报。而江青是7月20日才从上海回北京，当然她回京后也向毛泽东陈述了她的意见。
毛泽东在听取汇报和看了“文革小组”提供的一些材料后，对运动的进展情况表示不满，认为北京的文化大革命搞得冷冷清清，学生运动受到镇压，但最初还没有提出撤工作组。直到7月23日，中共中央批转总政治部《关于抽调军队干部支援地方文化大革命的请示》，其中还提出：“采取抽调干部参加地方四清的办法组织工作队，支援地方文化大革命。”毛泽东对此仍表示同意。
7月24日、25日，毛泽东先后找一些人谈话，再次对前一段的运动提出批评，明确提出要撤销工作组。参加24日谈话的主要是“中央文革小组”成员，25日谈话时又增加了来北京出席中共八届十一中全会预备会议的各中央局书记。毛泽东在听取了江青等人的汇报后说：“把工作组一撤，把黑帮停职反省就完了。这样可以搞得快一点。有这么一段，运动冷冷清清，就是6月20号左右以后，有许多地方搞得冷冷清清。根本撤出来，另外派几个人去当观察员。张承先这些人能不能搞好？能搞好就搞，不能搞就撤出来。”“现在不只是一个北大的问题，而是一个全国的问题。如果照原来那样搞下去，是搞不出什么名堂来的。”“工作组一不会斗，二不会改，只会起阻碍运动的作用。”“许多工作组（当然不是一切工作组），包括张承先的工作组，都是阻碍运动的，都要把它撤出来。”
7月26日，召开政治局常委扩大会议，由新近从中南局调到中央任书记处常务书记的陶铸传达了毛泽东两次谈话的内容。刘少奇、邓小平等放弃了原来的意见。会议最后决定撤销工作组。第二天，“中央文革小组”起草了撤销工作组的决定，毛泽东亲自作了修改。7月28日，由中共北京市委正式发出《关于撤销各大专院校工作组的决定》，文件中注明，这一决定“也适用于中等学校”。
7月29日，北京市在人民大会堂召开有一万人参加的全市大专院校和中等学校师生文化革命积极分子大会。李雪峰在会上宣读了北京市委的决定。刘少奇、周恩来、邓小平出席大会并讲话。他们在讲话中都说明派工作组是中共中央决定的，代表中央承担了责任。刘少奇说：“派工作组是中央决定、中央同意的。现在发现，工作组这个方式不适合于当前无产阶级文化大革命运动的需要，中央决定撤退工作组。”“工作队员过去这一段时间的工作是在你们学校里面作的，他们犯了错误或者作了好事，是在你们学校里面作的，成千上万的人看到了，你们都清楚。当然，各学校工作组的工作，不会是一样的，或不完全一样的，正如邓小平同志刚才说的，工作组有好的，比较好的，或犯有严重错误的。”
7月29日大会之后，北京和全国各地都相继撤销了工作组。刘少奇、邓小平多次在各种场合承担了派工作组的主要责任。由于各学校的党委早已瘫痪，工作组撤走后，原先设想的“文化革命委员会”之类的机构也因为群众分裂成两派而成立不起来，造反派因此更加肆无忌惮。学校处于无政府状态，并迅速蔓延到全社会，局势急剧恶化。
工作组撤走了，工作组问题却还没有完。稍后，毛泽东对工作组提出更为严厉的批评，认为工作组犯了方向、路线错误。8月1日，他在中共八届十一中全会上插话说：“工作组不管怎么样是做了坏事，一不能斗，二不能批，三不能改，……起一个镇压群众、阻碍群众的作用，起了个坏作用。一般说，就是百分之九十以上的工作组干尽了坏事。”江青、陈伯达、康生等在这一期间连续到各学校煽风点火，鼓动造工作组的反。很多工作组成员遭揪斗。以后，工作组又被作为资产阶级反动路线的具体体现和刘少奇的一大罪状，受到了长时间的批判。
