事实上，1926年8月20日，在北伐开始的时候，他发表过一项宣言，表示只要外国人不妨碍北伐运动和国民革命军的行动，不管他们的国籍如何，对他们的财产将给予保护。
虽然蒋的部队在攻下汉口数月之后于1月3日发生了严重的反英事件，但在一般情况下，国民革命军在许多城市执行了这一命令。
当第六军的部队3月24日进入南京时，对外国的机构进行了攻击和掠夺，蒋对此很恼火。在这些机构中，有商业公司，罗马天主教会，还有英、美、日的领事馆等，大约有12个外国人丧生。为了躲避士兵，也为了躲避外国舰艇报复的炮火，百姓们纷纷躲到城墙脚下。
蒋来到现场，对第六军的第三师采取了无情的行动，缴了他们的械，并处决了30~40人。
后来据说共产党的政治委员插手了这一事件，（蒋写道）“他们希望挑动外国势力和革命军发生直接的冲突”。但正像吉勒麦兹所指出的那样，很难看出对外国租界的掠夺会给共产党带来什么好处，那很可能只是一次军队违纪事件。
很快，蒋在上海陷入了更严重的麻烦之中，在周恩来等人组织的80万工人罢工配合下，国民军1927年3月22日攻占了上海。共产党武装了工人纠察队，接着便发生了残酷的巷战。在此过程中，约有200名工人被打死，1000名工人被打伤。随后，他们建立了临时市政府，使局势有利于自己。
蒋在南昌的司令部里，注视着这些事情，心里憋着一股怒火。开始是左派在武汉建立政府，对他在国民党中的权威表示蔑视。现在，共产党又夺取了上海。
他发表讲话，但不起作用。他时而调和，时而挑衅，在3月10日的一篇讲话中，二者兼而有之。他说：
他没有打算不与共产党合作，而且还主张把他们拉进国民党。但是，共产党现在已达到力量和声望的顶点，如果他们对自己的行为不加控制的话，他们将给国民党带来灾难。
他说他不反共，他感激共产党的支持和同情，但共产党不能在国民党内谋求优势，压制国民党中的温和派。
武汉政府没有理睬蒋的指责。中央执行委员会撤销了蒋作为政治委员的职务，使其总司令之权隶属于新的军事委员会。
他在国民党中的所有重要职务，都转给了他的对手汪精卫。那时，汪正在从法国返回的途中。该委员会还通过发表公告对他进行谴责。指责他是专制者和独裁者，说他的统治保护“官僚、商人和其他机会主义者”。
按照蒋的说法，是共产国际劝汪精卫经莫斯科回国的。尽管他们之间发生过一些事情，但蒋明显对汪的回国仍抱着希望，认为他的老同事会因汪的回国而被重新启用。汪1927年4月1日回国后的几天里，蒋和汪在上海会晤了好几次。
接下来发生的事情是，根据蒋的建议，一个姓吴的国民党人参加了“清党”会议的讨论，此人是蒋在控制委员会中的忠实信徒。
会议的重点是讨论“清除共产党”的问题。当他们干这件事的时候，一些远离革命的地主和富人发现他们有救了。吴在会上作了报告，报告中对共产党和鲍罗廷进行了攻击。
4月5日，汪同来上海的共产党领袖陈独秀发表了一个联合宣言，重申共产党接受孙中山的三民主义，并且进行了辟谣。因为有谣言说，共产党企图破坏国民军，并攻击租界；而国民党准备解除共产党工人纠察队的武装，并将共产党开除出党等。
