他说：“上海是一个所有国家的人汇集的地方，如果我们这儿的人不守秩序的话，那么，我们的任务将变得倍加艰难。上海的环境太糟糕了，大部分驻扎在此地三个月或者最多半年的军队都要变得士气低落，软弱无力。因此，我们这些军官必须下决心控制好部队，使士兵免受各种诱惑，约束他们的恶习，并为我们的士兵树立榜样。”
几天后，当他回到南京时，他决心采取无情的行动，枪决了50名士兵，因为他们被指控参与了头一年反对外国的暴乱。此外还有很多人遭到军事逮捕。
这便是他向外国势力保证不再干扰他们的方式。他希望与他们的接触范围缩小而不是疏远。随后，他又正式向他们保证，在北伐期间将不会再有任何反对外国人的暴行。接着，他呼吁外国停止向军阀提供武器和资金，因为那样会延长内战。
月底，蒋把他的指挥部移到了徐州，这是北伐第二阶段国民军前进所至的最北处。他把他的部队在扬子江的北岸按东西线部署。大约有70万人听从他的指挥，这是第一次北伐军队的近7倍。而他面对的是张作霖的40万人马——由他的儿子张学良（“少帅”）指挥，另外6万人由别的将领指挥。
4月7日，蒋宣布发起总攻，他的战略很清楚，而且最初是严格按照计划进行的。主力部队是他自己的一路军，沿着津浦线向北挺进。与此同时，冯玉祥的二路军和阎锡山的三路军分别从南部和西部进攻河北，把东北军阀的部队从主战场牵制过来。进攻开始后的第21天，国民军开进了山东省会济南。
然而在济南，他们受到了一个新的意想不到的敌人——日本人的阻拦。日军的一系列暴行是由所谓的“济南事件”引起的。
日本人曾一度为蒋感到一丝骄傲，因为蒋受的是他们的那套严格的军事训练；但现在他们却把蒋看成是对他们掠夺北方计划的一个威胁，应该以某种方式控制住蒋，否则他要把日本的保护对象——张作霖赶出北京。
日本人制造“济南事件”是因为在那里有重要的商业利益。根据1919年的一个协议，日本已接管了德国在山东的特权。中国还没有承认这一现状，日本却决定行使这一权利，并把它作为阻挠国民党北伐的理由。所以，他们向这个城市派驻了大量部队。
蒋介石急于避免冲突。他的部队没有必要经过济南，因为北部的军队已经溃退，于是他命令军官们不要进驻济南。但是，其中有名军官可能误解了这个命令，也可能对之表示蔑视，结果他们开进了济南。不久，国民党军和日本便处于紧张对峙状态。
第一起暴行发生了。日本人包围了国民党政府外交部驻当地的办事处，割掉了负责人及16名人员的鼻子和耳朵，随后又杀害了他们。
当蒋派遣的国民政府外交部长前去和日本将领谈判时，也遭到逮捕。在胁迫下，他签署了一项声明，谴责中国人首先挑起了事端。
与此同时，济南城遭到了机关枪的扫射和炮轰。总司令面临着两种选择，他要么抵抗日本人，但这必须冒着剧烈对抗和战败的危险；要么屈服于日本人，继续向北进攻。他选择了后者，静悄悄地从济南撤出了他的部队，把他的主力部队转移到河南他接管的地区。当战火停息的时候，这一退却给他招来许多批评。
济南事件使北伐停止了一个星期。到五月底，蒋已铲除了阻碍其进程的三个军阀中的两个——吴佩孚和孙传芳。第三个军阀张作霖也准备让出北京，而且后来还丢了命。
