蒋匆匆赶到上海，找到后来当上上海总商会会长的虞洽卿，孙中山的一个长期支持者，借到六万银元（银元类别不明）。带着这笔巨款，蒋搭船到香港，再租一艘小艇沿珠江而上。一九二二年六月二十九日，蒋登上泊靠黄埔的“永丰舰”，与孙会合。随即蒋接过“永丰舰”的指挥权，命令它驶往下游。往后五个星期，粤军第二军和陈炯明部队激战时，“永丰舰”就停靠在闷热的河港白鹅潭。但是舰上孙部接获报告，陈炯明已击败许崇智以及效忠孙的滇黔盟军。八月九日，英国一艘军舰同意载孙中山一行人到香港，到了香港后他们再转往上海。
蒋登上“永丰舰”和孙中山独处，是蒋一生事业的转折点。很显然，孙自此对他更加铭记在心。蒋在战场指挥官、涉及多单位的参谋长任上，以及都市游击战、秘密作业（涉及两桩暗杀案）和其他地下工作中，都表现得可圈可点。他似乎忠心耿耿，又不怕向最高领袖表达异见。尽管蒋受的教育有限，但好学深思，肯研究世界事务，对俄国新社会情况能侃侃而谈，并且还提出过一份北伐计划；他有胆识且极为诚正；还有一个优点就是，除了富有的张静江，他没有其他靠山，背景清白，又只有戴季陶、张群等少数好友，没有拉帮结派。这样一个人，没有什么会妨碍他全心全意地效忠孙中山和革命事业。这些条件是蒋崛起的一个关键。孙中山再次遭遇失败，但他仍很乐观——他有了值得期待的新支持者，甚至可说是迄今最为重要的新盟友。前一年（一九二一年），化名马林的共产国际代表和孙会面，建议苏联可与新改组的中国国民党合作，并把这一年稍早时刚在上海成立的中国共产党拉过来，和国民党成立统一战线。马林答应孙，苏联可以提供大量的军事武器与补给品来援助国民党，一直苦于没有日本和西方列强这类援助的孙，闻之大喜。
虽然孙不肯和共产党组成统一战线，但他同意让中国共产党及社会主义青年团成员加入国民党。中国共产党方面也在共产国际的坚持下修正立场，同意接受统一战线，其成员可以个人身份加入国民党，成为“国民党内的集团”。苏联此一决定，反映出它希望有了孙中山这样具社会主义思想的领导人，国民党会接受共产主义的影响。苏联人也觉得他们需要有个强大、统一和友好的中国，作为抵抗英国和日本的前沿堡垒；在中国各派力量中，国民党是较有可能促成实现这一目标的政党。这时的中国共产党只有一百二十三名党员，马林还不觉得它是重要的组织。国民党本身虽然只有几千名党员，但是他们涵括了职业军人、作家、教师和学者，还有新兴的爱国商人阶级及金融家。最重要的是，国民党有军队。苏联认为，共产党员加入国民党，也可以使居于少数的共产党得到尊重和信赖。
一九二三年一月十七日，苏联高级外交官越飞（Adolph A Joffe）在上海拜会孙中山，定下了一个详细的合作计划，包括莫斯科要提供的武器、弹药及现金的数量，准许中国共产党党员（以个人身份）加入国民党，以及国民党依照马列主义路线彻底改组。此时，蒋写了一封长信给孙，陈述他的政治策略观点。他说，在努力于国家统一、争取革命领导权上，国民党“当先求政权而后推行主义”，也就是“不妨先用中国式政治家。如谭、唐、李、孙，专为统一中国之预备不然”。孙同意这个看法，这时又恢复了自己大元帅的头衔而非总统的名号。他认为，军事手段是目前作战的最高优先。
孙委派蒋介石担任许崇智的参谋长，十月间，蒋抵达福建后第一个建议就是派遣更多特务去收买陈炯明部下的高级军官。蒋很早时就参与过国民党的地下工作，这里正是他重视特务工作的又一例证。但是，担任参谋长不久，孙又派他率领一个代表团，赴苏联考察、学习其军事及政治制度。有鉴于此时孙对与苏联关系的重视，这是一件相当重要的任务。孙致函列宁和托洛茨基，介绍蒋是他的“参谋长和密使”：八月中旬，蒋和另三名代表（其中两人为中共党员）搭乘邮轮前往东北。他们在大连坐上火车，跨越满洲里中苏边境，再转搭横越西伯利亚的火车。
