青帮两大首脑杜月笙、黄金荣“基于政治理由”和共产党、国民党都保持密切关系。根据陈立夫的说法，杜月笙和上海总工会（Shanghai Federation of Trade Unions）负责人汪寿华有直接接触；汪是青帮人，也是中共党员。由于这层关系，中共中央不认为强大的青帮是个迫在眉睫的威胁。可是，青帮大佬杨虎早年和蒋一起参与革命，现在担任清党委员会和杜月笙主要接触人。清党委员会同意给杜六十万（中国）银元成立“中华共进会”之类的武装暴徒组织，协助执行青帮被赋予的任务。蒋在出城前也任命杨虎为上海卫戍司令。
同一天，奉系军阀张作霖的警察冲入北京的苏联大使馆，逮捕苏联外交官和中共党员，并载走好几卡车的文件，这些“可靠证据证明莫斯科通过其特务鲍罗廷控制中共”。张作霖下令勒杀在使馆里抓到的李大钊和其他十九名中共党员。但是，双方其实都一样残酷和尔虞我诈。凑巧，斯大林不知北京这头发生的事，在莫斯科对三千名党工干部演讲，表示“当（国民党）右派已经没有用处，蒋介石将像柠檬一样被挤干后丢掉”。
历时二十二年之久的国共内战于一九二七年四月十二日清晨在上海展开。前一天晚上，青帮杜月笙邀请共产党籍的工会首脑汪寿华到家里谈话。杜劝汪退出共产党，加入国民党。汪拒绝。当他告辞后，两名刺客开枪撂倒他。过了午夜，白崇禧的第七集团军部队于上海接管亲共的总工会办公室，不听话的人就地格杀，青帮组织的共进会武装人员在若干地方攻打工人纠察队，杀了数十人。周恩来等人又被捕，送到白崇禧总部。周是中共在上海的高级领导人，但白释放了他，很可能是经蒋核准或直接下令。
青帮人马揪出躲起来的中共党员，据说杀了好几百人，另有几千人逃跑。第七集团军部队也开枪驱散一群示威民众，又打死了好几十人。广州、桂林、宁波、厦门等地，亦纷起响应清共。数十年后，陈立夫说：“这是一种残忍的方法去消灭内部敌人。我必须承认许多无辜的人被杀了。”据陈的说法，一万六千名共产党员“投靠到我们这一边”。蒋日记里没提清共，但是他在四月十四日写说，“余决心暂取守势，巩固江南，以运用时局之变化也”。武汉领导人为示报复，杀了八名抵抗共产党主宰武汉的工会领袖。长沙方面，与外国往来的三四十名生意人也被共产党人枪决。
四月十八日，蒋在南京另立国民党政府，推举胡汉民为主席。胡在廖仲恺遇刺后被迫下台，最近才从苏联回国。胡汉民和汪精卫一样，自命比蒋高明，把蒋当成乡气十足的后生小子。纵使如此，胡以国民政府名义嘉许蒋的忠诚和勇气，并下令逮捕鲍罗廷和陈独秀、毛泽东、周恩来等二百名中共党员。另一方面，武汉的中执会以汪精卫为主席，指控蒋介石犯了十二项罪名，如“屠杀人民，镇压党”，并革除蒋一切职务，悬赏二十五万两银子活捉蒋，若是杀了他也有十万两银子的赏金。
没有迹象显示蒋在发动清党以前有考虑到一九二五年十一月即在莫斯科念书的儿子的命运。蒋经国已经成为狂热支持托洛茨基激进路线的青年，当清党消息传到莫斯科时，他既震惊又生气。次日，他公开谴责父亲是“叛徒、凶手”。固然国民党官方的解释是经国被迫发表此一声明，但蒋介石可能都怀疑这是实情。他这个充满理想主义的儿子还要滞居苏联十年，留苏期间他一直自视为真实的马列主义信徒，而他的父亲由于清共，乃是中国人民的叛徒。
