同时，汪精卫也开始清共，把共产党人赶出武汉，并解除工人纠察队的武装。在武汉被捕的一些共产党人遭到枪决，但汪小心保护苏联顾问，假装最近事态发展不应干扰对苏关系。可是，苏联承认其对华政策已乱了套，决定退出中国。罗易率领三辆大车，挂满汽油桶，跨越戈壁沙漠撤退。鲍罗廷因为北方军阀抓了他太太，关在北京，所以他没走。等到他的太太化装成修女逃出，他们才在七月底穿越戈壁，逃到蒙古。
但是苏联还不肯放弃在中国其他地区的作战。中共中央政治局隐蔽到上海，奉莫斯科的指示，宣布只要有可能就起义的政策。一九二七年九月，共产国际派人携三十万美元到上海给中共，斯大林另外批准运送一万五千支枪、一千万发子弹和三十挺机关枪给中共。毛泽东也回到家乡湖南，重启农民运动。九月初，毛泽东的军事单位杀死地方官员和地主，攻击长沙等城市。到了九月中，各省军队实质上已摧毁了共产党的军队。毛泽东被迫率领残部撤退到湖南、江西交界的井冈山。回到南京的蒋介石再次派人和汪精卫接触，提议尽弃前嫌、修好合作。可是，汪坚持蒋必须先辞职才能讨论和解方案。蒋派人请李宗仁过来一谈，告诉他由于汪的坚持，他已决定下台。李宗仁很清楚，蒋若下台，南京同盟必将分裂为派系互斗，汪精卫无法维系国民党团结，北伐也将停滞。蒋虽然缺点不少，如盛气凌人、个性冷酷，但专心一致要统一中国、廉声在外、迄今领导北伐成绩斐然，使他仍足资号召全国。李也认识到蒋一旦下台，将严重伤害到南京当局从上海筹款的能力。李“恳求”他再考虑。
但蒋认为是时候应该走人了，遂于一九二七年八月十二日递出辞呈，呼吁国民党团结光复华北和北京。他恳求：“武汉同志，为何踌躇？”他清空南京的办公桌，搭乘军舰由长江前往上海。从上海，由两百名警卫护从前往溪口，由险道登上雪窦寺。每天清晨五点在僧众梵唱和寺庙钟声中起身后，蒋即读书、静思。身穿灰色长袍，他告诉两位美国记者，他打算未来五年出国考察各国风土民情，作为中国跻身大国之参考。同时，中国记者也把一位乐善好施、坚守原则的将军自我流放和僧众为伴的形象，传遍全国。蒋等待复出，但要争得道德制高点之前，他必须冒不可预知的风险。
二
这位四十岁的领导人不只沉思哲学和政治问题。他和宋美龄鱼雁往来已经一年。一九二七年五月，也就是他辞职前，他通过书信向她求婚。据说一九二二年宋美龄拒绝他，但这一次却欣然接受。他现在中外知名，而她也已二十九岁，当年中国女子若此时仍旧未婚都会开始担心自己的尴尬年龄。但是，美龄的母亲反对——毕竟她已有一个女儿不孝地私奔，和大她三十岁的已离婚的国民党领导人结婚，而这桩婚事并未带来子嗣。但是，至少孙中山受过高等教育，也是基督徒；蒋介石却不是基督徒，也没受过大学教育。更糟的是，他至少结过一次婚，有好几个小妾，且育有一子。有意思的是，蒋一九二七年夏天的日记提到宋美龄的次数不多。但是一九二七年十月一日，他写下：“近日无论昼夜，心中但有三妹别无此思矣。”
九月底，在雪窦寺静修已有数星期，蒋脱下长袍下山，然后乘船到上海。他一到沪上，就向记者表明此行唯一目的在求宋美龄家人同意婚事。可是，宋夫人此时正和霭龄、美龄姊妹在日本的疗养中心。蒋追到日本镰仓表明来意，并提出文件证明已和毛福梅离异。他也保证会研读《圣经》与基督教义，但表示不能保证受洗为基督徒。宋夫人终于同意这桩婚事。蒋向报界宣布，他已付钱、结束和陈洁如的关系，像早年遣散小妾（姚夫人）一样。
