涌回城内的日侨，有的扶老携幼重返家门，有的拥挤在街两旁的小巷中，一时不知所措。城内再次陷入混乱。
日军司令部向据守河西的日军派去了增援部队，试图夺回火车站。但他们向东岸发动了几次冲锋，均被八路军击退。
午后，数百名日军再次冲过铜桥，呐喊着向火车站发动进攻。这批日军在火车站附近与八路军对射了两个多小时后，被八路军的反冲锋逼回桥西。随后，八路军组织轻重火力，严密封锁铜桥，扼住了日军通住火车站的要道。
直到傍晚时分，狼窝沟的日军与苏蒙联军达成协议，部队陆续撤至市区时，八路军的攻城部队才撤离火车站。但苏军要求解除日军武装，被日军拒绝，战斗随时可能继续发生。
入夜以后，城内的日侨又满怀恐惧地向火车站与公路方面集中，在军队的保护下，乘火车、汽车或徒步向平津方向撤退。
20日夜，驻蒙疆日军司令官根本博中将向华北方面军电报请示：
“张家口附近住有约四万日人，从20日晨已开始撤退。但全部撤出，至少要到22日。为使军队后撤至少能有两三天剩余时间，可能的话争取一周时间的机动余地，将继续进行交涉。对方若不应允，则为争得最小限度可资利用的时间，决心集结现有之总兵力，坚决在长城外线要地阻止敌军前进。”
但是，根本博中将的请示，华北方面军司令官未予批准。
22时上午，八路军再次发动进攻，控制了火车站。从狼窝沟撤下的最后一批日军，与城东方向的八路军攻城部队经过激战后，向北平方向退走。
张家口市内大街上，到处扔着刺刀枪弹等武器，以及伪军警察逃走时扔下的衣服。未来及撤走的日侨，四处求告，要求在中国百姓家中避难。一些两手空空的日本年轻妇女和姑娘，跪在街边，向路过的中国男人磕头，用生硬的中国话哀叫道：
“老婆的干活，妹妹的干活。”
这些陷入绝境的日本女人，只有靠自己的身体求得一线生机。
