逃出的是蔡公时的勤务兵，他在4日上午跑到总司令部来报告。总司令部的几个人就商量着赶快提抗议，宣布日军此种野蛮罪状。蒋介石就叫战地政务委员罗家伦先写个草稿，大家议论修改后，当天发出。这时，忽然来了一架飞机，在总司令部上空投弹，一个就投在总司令部办公室后面的池里，但没有爆炸；另一个炸弹落在宿舍后面的一个四合院的中间，一下死伤19人，其中有官长2人。这架飞机标志不明，很可能是日方的飞机，或是由日人驾驶为张宗昌作战的飞机，因为张宗昌残部还没有这种新设备和驾驶员。
日军在济南的所有暴行，身为总司令的蒋介石都耳闻目睹，却只是阴沉着脸，在房间里来回走动。似乎他所能做的事，只是发布撤兵令，不断派“日本通”去与日本人谈判。5月3日派黄郛、陈韬，4日改派熊式辉，5日换成赵世暄，6日再派王正廷、崔世杰，期冀其中能有一个为日本人赏识的外交使者，进而达成某种妥协。可日本人按自己的方针办，根本不领蒋介石的情。这些“日本通”皆遭日本人耍笑，先后碰壁而归。
到了晚上，蒋介石在一个大厅里和前敌总司令朱培德、总参谋长杨杰、高参熊式辉，重新部署军事，定下退出济南，北伐军兵分五路渡过黄河的计划。在这个大房间里，军用地图钉满壁上，又铺满地上，由熊高参拿了各种颜色的粉笔和一大块橡皮，脱了皮鞋在地板上的地图间行走，拟定各路渡河后进兵的路线。每次画到一条线之后，在场的人从各角度加以考虑，然后更改或修正，如此弄到深夜。蒋介石要罗家伦拟一个给英美两国在济南总领事的函件，通告他们北伐军要退出济南，仅留少数维持治安部队，使济南成为一座不设防城市，此后一切外侨生命财产之安全，应由日本负完全责任。罗家伦问：“我们就这样退出济南城吗？”
蒋介石望着地上的地图：“等我把军事摆开以后，再同他们说话！”
在日本，日参谋总长于4日上午10时10分，向第六师团下达了电令：“对中国军队的停战，必须以显扬国军威信和根绝祸因为条件。”根据参谋本部的命令，第六师团长福田彦助于当日中午12时11分，向参谋总长汇报了第六师团的进军意图：“3日晚，两军代表会晤，取得暂时解决，但目前南方中国军（即北伐部队）在济南附近驻扎者至少有四万人，态度逐渐对我怀有恶意……我们确信，目前正是日本对南方（军）进行断然惩处，以进一步解决中国问题之良机。”
