就在这时候，汪精卫派他到莫斯科去和苏联人商讨北伐计划，以及他和季山嘉的不和。陈果夫的弟弟陈立夫刚从美国留学回来，出任蒋的机要秘书。陈立夫后来著书说，蒋并不想去莫斯科，但是觉得他必须接受国民党和孙中山的原则，即党（汪精卫）控制军（蒋本身）。照陈立夫的说法，三月十八日午夜过后，中共中央执委会里头有个浙江籍成员传递密告给蒋，表示共产党和苏联人正阴谋要逼他下台。次日，革命军一艘炮艇“中山舰”（舰长为共产党员）作出令蒋起疑的移动，而且汪精卫当天两度打电话问起蒋的行程。据陈立夫的说法，蒋担心有陷阱，决定搭车前往广州城外效忠他的第一军驻地。途中，他决定要反击共产党冲着他来的威胁。经过和第一军高级将领彻夜讨论后，三月二十日清晨四点钟，蒋宣布广州全市戒严，逮捕中山舰舰长（李之龙）以及周恩来在内的约五十名共产党人。第一军部队解除了广州共产党纠察队的武装，并没收苏联顾问团营区卫兵的武器。下午，廖仲恺遗孀何香凝冲到蒋的总部，追问：“你疯了吗？还是你要向帝国主义投降？”想到总理孙中山一向深信他会接受文人统治，蒋不禁“伏案痛哭，有如小童”。
苏联对此事件的后续报告似乎证实，蒋怀疑汪精卫居心叵测似乎不无道理，但莫斯科方面此阶段根本不可能试图倒蒋。每一个迹象都显示斯大林和鲍罗廷视蒋如雅各宾激进派，近似共产党人，在国际事务上可接受共产国际的权威，但在内政事务上则不，有朝一日说不定可将他争取过来。奉系军阀张作霖一九二七年四月初闯进苏联驻北京大使馆，在抄出的文件中也找不到一九二六年三月苏联有倒蒋的阴谋。苏联内部的报告也下结论，认为苏联顾问躁进，想抓权，却激起公愤，但也暗示汪精卫在“中山舰事件”期间及事后都是反蒋联盟的一员。
尽管有这些不确定，事后蒋也相信中山舰舰长未涉及阴谋，他仍然把握这个机会，不仅确立了国民党在中国有超越苏联顾问的完全权力，制止中共渗透国民党，还确立了他在国民党乃至革命运动中的领导地位。可是，他希望避免被看做是借由政变来达成这些目标，因为这会违背孙中山的原则以及他自己诚正的誓言，也会危害到未来苏联的援助。因此他立刻向苏联人保证，一切不变。事件当天下午，他就把部队撤离苏联营区，并表示道歉。他也命令士兵撤离工会，释放周恩来等大部分被扣押的共产党人。汪精卫大怒，以为除了第一军之外，他可以号召所有部队反对蒋，不料各军司令除了一二例外，都强烈反共，乐于见到蒋对中共及苏联人的限制。
国民党中央执行委员会迅即核准蒋的行动，包括让他接手汪精卫的军事委员会主席职位，中执会还提议，“鉴于当前情势，左翼同志应暂时后退”。汪精卫遂以养病为名，立即前往上海，后转赴法国蒋向苏联在广州的高级外交官索罗扶耶夫（Solovyev）担保，他的目的不是阻止国民党联苏容共，他要求加仑回任，以及暂时回去莫斯科的鲍罗廷快点回到广州。索罗扶耶夫同意，并表示他会罢免季山嘉。
蒋也逮捕若干国民党保守派，并向黄埔师生发表公开信表示他和孙中山一样，认为若不容共，革命阵线无从团结起来。这时正好在广州的苏联考察团团长布伯诺夫认为，蒋愿意也有能力“和我们合作”。虽然中共此时已有三万名党员，但短期内夺权的机会不大，斯大林和共产国际因而同意它应继续维持和国民党的统一战线。
