当时冯玉祥就召集全城商民谈话，费了很大气力，才把他们召齐。冯告诉他们：“托庇外人，是最可耻的事。但以往是为溃兵骚扰，大家不得已而出此下策。现在我们的队伍是严守纪律的，必能负保护地方的责任，绝不会再有骚扰的事。如果他们动了你们的一草一木，就请你们大家把我冯某逮捕枪决。我们是中华民国，若是挂起了外国旗，不但贻笑外邦，自己也应该觉得可羞可耻。请大家回去，立刻就把日本旗取消、撕毁，永远不要再做这种辱国辱己的事了！”当天晚上，街面上的日本旗统统被撕毁。同时冯又去找来日本兵舰的舰长，质问他们为什么要在街上张贴那种布告。那舰长说：“这是贵国的人民要求我们做的，不过总觉得很是遗憾！”
日本兵舰舰长说得很委婉客气，冯玉祥也就不加深究，只把那些布告撕毁，不许他们再有这种侵害我国主权的不法行为。
至于那些日本旗从哪里来的呢？冯玉祥派人查询，知道是城内一家洋行卖的。所谓洋行，只雇用一个日本浪人做幌子，其实店老板是中国人。冯玉祥派人检查他的账目，上面写得明明白白，每面日旗的价钱，有3元的，有5元的，有10元的，有百元的，有多至2000元的。把老板和那做幌子的日本浪人都抓了来，问老板，何以做这种欺骗商民、污辱国家的无耻买卖，他说：“因为有人家需要，所以我们办这个货。”问那日本浪人，答道：“老板每月花50元雇用我，我是为了生活。他做的什么事，我也不知道。”冯说：“你们两个都是奸宄，没一个好东西！”当即把那日本浪人驱逐出境，将店老板看押起来。
