同日，吴等人决定“清党”，他们建立了一个委员会研究有关方案。6日，北京和上海是多事的一天。在上海的所有武装集团接到通知，从今以后他们必须按军纪行事，任何反对行动将以叛乱论处。
在北京，张作霖派警察搜查了苏联使馆，使苏使馆人员大吃一惊。
他们在苏使馆中发现的东西，比张本人希望的要多。中共的建党人之一李大钊和另外35名共产党员在那里避难。张作霖当时的外交部长宣布中断与苏联的关系，并且通知苏联人回国。
4月28日，张下令杀死了李大钊及另外19个共产党人。
蒋依然面临着如何使在武汉的敌手溃散的问题。
中央执行委员会撤销他各种职务的消息，使他感到沮丧。
李宗仁也为来自上海的消息所震动，便离开安徽前线来到上海与蒋会面。他到达上海的时候，正值蒋接到第一军军长何应钦要求辞职的电报。蒋说：“如果连第一军都不能稳定的话，那我就无法维持下去了。”
李回答说：“如果你也不干了，那么事情就糟了。当前的危机主要是共产党企图消灭国民党。”他建议蒋马上通电其他军界的支持者来上海“清党”，他自己的第七军可以召集到南京，授权在那里“清党”，蒋接受了他的建议。
4月6日，正是张作霖派警察搜查苏联大使馆的那一天，汪精卫到了武汉。
第二天，支持蒋介石的军官到达上海，他们立即与蒋、李和上海警备区司令白崇禧秘密商议，讨论“清党”问题。
8日，蒋建立了一个临时行政委员会，以取代共产党建立的临时市政会。
10日，蒋及其支持者（自称是清查委员会）举行正式会议，以政令形式通过了各种方案。所有的入党申请暂时停止，任何重新登记的党员必须受到三个月的调查，每个党员必须每两周向其所在支部报告自己的政治活动。会议还决定，取消武汉政府，国民党中央总部迁至南京。
随着为蒋的行为作辩护的“清查令”的施行，蒋开始准备进攻了。1927年4月11日，蒋发布了一项密令：没收2700名共产党工人纠察队员的枪。12日，蒋的支持者采取行动，在广东、广西、福建、浙江、江苏、安徽、南京和上海同时进行“清洗”。李宗仁起了很大作用，如果没有李的支持，“清洗”是不可能的。
然而，上海的详细情况是不清楚的，有关这一事情的报道比较混乱。有一种说法认为，是国民党让当地流氓穿着工人制服，根据约好的信号，这些假工人突然袭击了全市所有工人阶级的组织，并且无论他们是否抵抗，一律将他们打死。
还有一种说法是，蒋在进入上海之前，事先与上海有权势的赌场主、鸦片商、秘密社会的头目杜月笙达成了协议。
据说，青帮流氓屠杀了数千名工人领袖和富于战斗精神的工人。共产党的官方数字是，300人被打死，5000人失踪，一些很有前途的青年共产党干部在那天的战斗中和在13日的总罢工流产后被处决。
在那些被逮捕或被处决的人当中有周恩来，但他与一个师长的兄弟一起逃出来了，那位师长的兄弟是周在黄埔的学生。
蒋介石本人没有把这些事件讲清楚，他的解释是委婉和隐晦的。他说4月12日，为了防止共产党暴动，国民军在当地工会和商会的配合下，缴了红色工人纠察队的枪支并将共产党破坏分子置于监视之中。对上海发生的这种情况，不得不进行控制。
