已经在日本游说的张群，接到蒋介石的命令，在日本的决策人物中间进行乞和活动。张群在上一年里，曾陪访日的蒋介石去见田中义一首相，已经从田中那时的态度觉察到日本是反对北伐的。但北伐必须经过济南。有过日本第一次出兵山东之举，所以蒋介石非常担心发生冲突。所以在济南事件发生前，国民革命军曾通过日本友人要求日军由济南移驻青岛，此项军费由蒋方全部负担。因为张宗昌的部队已向北撤走，只要日军不在那里驻扎，则无须流一滴血，可日军拒绝了这个提议。张群被蒋介石派到东京后几个小时，济南事件就发生了。5月4日，张群往访日参谋本部第二部部长松井石根中将、外务省次官出渊胜次和军部伊藤安之助少将等。结果，乞和未成，日军方依然叫嚣以战争手段摧毁北伐军；次日，张群径访田中义一首相，要求日本政府不要再扩大事态，希望通过外交途径，经和平方式解决济案。 但田中拒不接受，且日本政府已于张群往访田中的当天，决定增兵山东了。
在济南，到了4日下午，日军司令的态度忽然转变，福田派了一个高级参谋来到蒋介石的司令部，又鞠起了躬：“昨天的事情，是部下冲突，发生了误会，只要你蒋总司令不误会，我们以后一定不再扩大冲突，一定可以设法调解。福田司令官对革命是很好的，而且很愿意帮助中国革命军……”
蒋介石起身让座：“双方部下冲突，不算一回事……不使冲突扩大，我当然十分赞成。今天只看你们日军士兵是不是再放枪炮、掷炸弹了，我愿以此来衡量你们日本军有否诚意。”
“那当然不能再放枪炮了。”日军参谋走时做了保证。
可是就在这天夜里，济南城外从西关到北关一带，又响起了日本人的枪炮和炸弹声。蒋介石气得擂桌子，开始怀疑日军是缓兵之计：一旦从日本本土调来增援部队，想必就会一鼓作气挑起决战。于是，蒋介石于当晚下令在城外的大部分军队渡过黄河北撤，以避免和日军发生大规模冲突。可是日军仍不理会，于5日下午开始了更大规模的进攻，飞机大炮轮番轰击，使已经和正在渡河的部队死伤无数。晚上，日军飞机轰炸济南城，“能忍”的蒋介石再也忍不住了，外衣也来不及穿，就被侍卫搬上了马背，与黄郛等一口气逃到党家庄车站，同时命令蒋军从济南撤退到徐州、兖州、泰安，他的总司令部也迁到党家庄。
