无论如何，蒋介石在家乡是不想继续待下去了。在宁波箭金学堂就读一个时期后，于1906年年初，暂入奉华龙津中学。他在这里显得焦躁不安，因为，到日本留学学习军事的想法一遍遍地冲击着他的脑海，他不能不作出决定了。
蒋介石把自己要到日本学习军事这一决定告知母亲并风闻乡里后，蒋母和乡亲们吃惊的反应是可以想象的。尽管那时留学日本在中国已形成风潮，但这种风潮散落在广袤的中国大地时，又是多么的无声和冷清。因此，在当时，就一般人而讲，出国留学简直是一种天方夜谭。蒋介石的母亲，是一位极普通的母亲，但因为饱经人生磨难又经佛经的熏陶，她的心胸已经非常的宽阔，她对人生和世事的理解又远非一般妇女可比，她确实不是一位平庸的母亲。严格说来，当时的蒋家并不具备条件供养这个读书多年而且如今已能够回家经营产业的青年人再继续花费不菲的金钱，到茫不可知的遥远异邦去学习不可预见成效的军事。因此，蒋介石赴日留学的要求提出后，在亲友们看来这是一种不理智的行为：
家乡的亲戚朋友们却一致表示反对（赴日留学——引者注）。在保守的家乡人看来，如果是去上海或北京的话，倒也还无可厚非；然而远渡到东海彼岸的外国——日本，则未免是一个不计后果的鲁莽行动。〔18〕
然而，蒋母却答应了蒋介石赴日自费留学军事的要求，设法为儿子筹集了一笔路费，这个自己在外虽未曾抛头露面的女性，似乎对外面的世界和形势有着她自己超乎寻常的理解；否则，很难理解这位母亲在那种情况下做出的这一重大选择。因为，蒋母有足够的魄力、权威和理由对蒋的要求说不。蒋母对儿子，似乎也有一种不同一般的期盼。
1906年4月，19岁的蒋介石远离家乡，在上海踏上东渡日本的海轮，其心情的激动和感慨确是难以言状的。现在，他来到了日本这个在他看来神秘而令他向往的地方。在日本，初来乍到的他，亲眼看到“近代建筑陆续出现，象征工业力的烟囱冒起黑烟”，显示着日本的“充沛活力”和“循着自立途径迈进的民族力量”，对比中国为西方列强和日本所屈的情景，心中的感受是复杂的〔19〕。蒋在这里最关心的，自然是他想进入军校学习的问题了，然而，他却立即遇到了意想不到的挫折。蒋介石后来在他的讲话中曾回忆说：
到了日本，就想进日本的军队。但当时日本的规定，中国学生要入日本军队受训，必须由中国陆军部保送，否则概不收容，我既非政府保送，自然不能入伍。〔20〕
蒋介石到日本学习军事的理想，无疑被现实击得粉碎。当时，清政府为防止自己不信任的青年学习军事以反对政府，所以与日本政府间新达成这样的一种协议。蒋于无奈之下，只好暂时到一所为中国留学生创办的补习日文的清华学校学习日语。在困顿之际，蒋介石与刚游学到日本的结拜兄弟周淡游相逢，周淡游的到来不仅使蒋介石在无聊与寂寞之际得到心理上的安慰和调整；更为重要的是，蒋介石由于认识了周淡游介绍的一个重要人物而对他的前途和命运产生了重大影响。
这个人就是后来与蒋成为亦师亦友之交的陈其美。陈其美，浙江吴兴人，字英士，1878年出生。幼年时曾读过私塾，但后父亲去世，家庭失去收入来源，自己只好在一家典当铺当学徒谋生，据说在这个铺子里他一直干了12年。这12年间，他的待遇虽然逐渐改善，但他对中国社会问题的认识和困惑也在冲击着他。1902年他弟弟陈其采在日本留学4年后回国，向他讲述了日本明治维新后日本经济、军事、文化和教育改革与发展的情况，尤其是日本的武士道的知识，引起陈其美的极大兴趣，遂决定在适当时机去日本留学。1906年，陈其美来到日本，先入东京警监学校学习警政和法律。这所学校是日本政府根据清政府的委托而创办的培养新式警察的学校。在这所学校里，陈其美结识了周淡游等同学。不久，陈其美因这所学校里教师授课太少，能学到的知识太少，便转入东斌陆军学校学习军事。让人不解的是，陈其美在未经清政府保送的情况下于1906年能进入东斌陆军学校学习，蒋介石亦于1906年4月东渡，为什么不能进入该校学习军事？是不是蒋介石认为这所学校不正规而不愿进入，还是其他原因？这些问题还需要进一步的研究才能回答。这所学校的创办人与孙中山有密切关系，实际上成为培养革命军事骨干的重要阵地，陈其美在这里结识了不少革命青年，还结识了徐锡麟、秋瑾等革命志士。这样，陈其美于不知不觉中已置身于中国革命的中心营垒之中。陈阅历丰富，为人豪爽，决事果断，曾自许“以冒险为天职”〔21〕，在性格的某些方面与蒋介石颇有相似之处，因而蒋介石与其相识后，很快为比自己大9岁的陈其美所折服，由于两人意气相投，遂结金兰之好。通过陈其美，蒋介石就很快认识了不少的革命志士，这在很大程度上决定了他以后的政治选择。与陈其美的结识，固然使蒋介石聊以自慰，但在清华学校的日语学习毕竟不是他的追求和兴趣所在，因而他实在难以自安。这年冬，蒋介石因在日本无法进入正规军校学习，且接到母亲关于妹妹将要出嫁要其回家照管的家书，遂决定回国另谋办法。
