稍后，蒋介石又通过日本驻济南代理总领事西田一向日军提出撤兵和开放商埠通行的要求。福田却表示：“我们是奉日本政府的命令行事，不能为你们的意见所左右。”不过对于“撤除铁丝网等防御工事、以免刺激革命军士兵心理”一节，同意照办。
日军对撤除防御工事少有的积极，竟彻夜进行。3日凌晨，天还没亮，工事即行撤完。5月3日那一夜，除了泉城无数的泉眼照旧汩汩翻滚，四周又黑又静，静得有些瘆人。
上午8点，日本代理总领事西田和宪兵司令登门拜见蒋介石。西田直臂贴膝，行了个45度的大礼，连声说道：“进驻济南的国民革命军，军纪风纪都很好，并且都很严肃，很守秩序，所以已派到济南的日本军队和宪兵，今天就要撤回去。”
日本宪兵司令也接着说：“今天是特地前来辞行的。”
不容蒋介石答话，这两人一唱一和，称赞起国民革命军的优良，说相比之下，张宗昌的军阀部队简直不成体统，日本人就愿帮助这样的军队……讲了半个小时言不由衷的话，两人才告辞。
蒋介石也被弄糊涂了。过度的满足使他有些疲倦。他靠着椅背假寐了不到15分钟，就听到远处响起连珠的机关枪响。他兀自奇怪：“敌军张宗昌不是早已狼狈逃过德州、离此已有几百里路程吗？敌军是绝不可能反攻的！”他命令侍从副官赶快查看。
副官回来就比画开来：“不是张宗昌，是日本兵跟我们的人打起来了！我还看见路上有我们两个同胞被日本兵刺死了！”
蒋介石脸上痛苦地一抽，说道：“糟了，上了日本人的当了！原来他们刚才是来打探我是否还在城内总部里，然后再来决定对我们的态度及其预定计划。”事后才知，率先出击的日军正是西田宣称“即日返津”的派遣队，突袭的路线正是他们拆除工事的路口，瞬间，东、西两“警备区”的日军如黄蜂一般倾巢而出，发动了预谋的、不宣而战的突然袭击。
蒋介石背在身后的两指扯紧了，又松开，马上命令各师长，各自约束部队，无令不许外出，避免与日军冲突。同时派联络参谋长将此意转达日本福田司令官，要他同样命令日本军队，以免两军扩大冲突。
史学界普遍认为：“济南惨案”是中日两国最初发生的正面军事冲突，也是中日两国长期战争的序幕。
事件的肇端是这样的：当天早晨，有国民革命军第四十军（军长贺耀祖）所属的一名士兵生病，同伴要送他到国民政府外交部山东交涉署对面的基督教医院治疗。经过商埠区时，日本兵阻止通行，由于语言不通而发生争执。虽然就这么一点小事，可对于等待挑衅机会的日军来说，就是一个很好的借口。他们不问情由、不待理论便突然开枪，当场打死中国一名士兵和一名役夫，其余的人见势不妙，躲进医院。日军则将医院包围，用机关枪乱射，于是乎，战火一经点燃，全市都响起了枪声。
