1927年1月，邓小平离开莫斯科，加入“基督将军”冯玉祥的部队，担任顾问。他回国的时机正是中国局势大动荡的紧要关头。桂系将领白崇禧、李宗仁率领的一支国民革命军部队刚刚解放了蒋介石的故乡——浙江省，通往上海之路已经敞开。起先，武汉的国民党中央（包括共产党人在内），希望继续往北京进军。蒋介石则坚持先攻占上海。如果他能掌握上海，就能掌握庞大的财政资源，可望获得列强承认国民政府，也就不再需要事事仰承苏联鼻息。蒋介石部队未经激战，就在3月21日占领了上海。
中国传来的消息，共产党组织人员在前线迭遭迫害，国民党持续右倾，托洛斯基和拉狄克对此起了警觉，托洛斯基首次公开主张，中共要和蒋介石及右派国民党完全决裂。然而，他依然认定，中共不能放弃对左派国民党人主导的武汉国民政府，以及仍在武汉政府掌控下的国民革命军部队的支持。拉狄克立刻遵循托洛斯基路线，要求中共和左派国民党人携手，从蒋介石及右派手中夺回控制权。到了3月底，拉狄克已大胆预测，蒋介石会对付共产党人、背叛革命。
此时的蒋经国相当彷徨，他心仪的苏联英雄托洛斯基和拉狄克，成为他所敬仰的父亲之政敌，而斯大林和苏联官方媒体继续替国民党结盟辩护，也替国民党领导人辩护。北伐军占领上海的消息传到莫斯科时，俄国首都报纸出版号外，兴奋的群众挤满街头狂欢。中山大学学生也开会欢庆，并拍发贺电向经国的父亲贺喜。蒋经国一马当先，站在学生队伍前排，率领数千名工人在共产国际总部前集会，群众活动持续到深夜。此后数天，中国学生无论走到哪里，都受到民众欢呼暍彩。俄国女郎还跑到中山大学，愿意对这些年轻的革命党人以身相许。此时，由左派控制的国民党中央执行委员会在武汉召开会议，发布命令，要求蒋介石总司令接受军事委员会节制。中执会又把蒋在党内的职位任命给其主要对手汪精卫。这一来，局势急转直下。蒋介石可能直到3月底，都还未能下定决心镇压中国共产党。他与陈果夫兄弟、戴季陶、吴稚晖等一小撮亲信，就当前严峻态势密商对策。
汪精卫在4月1日抵达上海。翌日，吴稚晖显然在蒋氏知情的情况下，向国民党中央监察委员会秘密会议发出一封信函。中央监察委员会虽然只是顾问备询单位，却由保守派人物居主导地位。这封信开门见山，直言建议把中共党员“清除”出国民党。中央监察委员会毫无异议通过这项清党提案。决议案要付诸实行，必须盖上党部关防大印，可是关防大印在武汉；陈立夫于是设法在上海复制一枚党部大印。
4月5日，奉系军阀张作霖的部队在北京闯进苏联大使馆，逮捕藏身其内的中国共产党员，扣押藏有秘密文件的保险箱。文件详载苏联涉入中共之地下渗透活动，及近来街头群众运动的状况。张作霖把二十名逮到的共产党员绞死，其中最有名的就是李大钊。蒋经国在北京念书时，就认识了李大钊，且相当佩服他。 国民党的中央监察委员会在上海再度开会，成立一个委员会，执行清党任务。清党始于1927年4月12日。根据陈立夫的说法，国民党并没有和青帮正式订下合作计划，但是“策划、执行清党的一个主要人物是杨虎；他是青帮领袖”。杨虎“把我们的建议传递给（青帮领袖）杜月笙……青帮就采取行动”。军队进占总工会会所，射杀在会所和街头反抗的工人。国民党部队解除共产党工人纠察队武装，没收三千支步枪。次日，军队向街头抗议群众开火，接下来就是动刑杀人。周恩来也被逮捕，但是他设法逃走。传说是白崇禧放走的周恩来。4月15日，蒋介石下令广州也执行清共。陈立夫的总结是：“铲除内部敌人，手法相当残忍。我必须承认，许多无辜者也被杀害。我们付出惨重代价。”
莫斯科中山大学学生正在筹划庆祝五一劳动节；蒋介石和冯玉祥的肖像在学校附近到处都是。群众在五一当天游行经过红场，举着马克思、列宁、斯大林及其他社会主义知名人士的肖像，蒋介石也是其中之一。蒋氏乃是世界革命运动的英雄，全世界共产党人的报纸无不同声歌颂这位红色将领的事迹。
