西摩尔等人没有想到的是，在他们熟睡的时候，倪赞清等人已经通过传贴召集附近的拳民，准备打击西摩尔联军---这是一次完全自发的抗洋活动，与清廷没有任何的关系。第二天（6月11日），大约有两千多名拳民和西摩尔联军再次发生冲突，结果又有20多名拳民被打死，而西摩尔联军无人伤亡。但是，拳民们并没有因为损失惨重而退缩，他们的人数反越来越多。
6月12日，西摩尔联军在修复铁路后，留下30名英国水兵留守落垡车站，其他士兵继续上路。在这天的下午，西摩尔联军到达了廊坊车站，这里距离北京大概还不到一百里。但是，在他们到达之前，倪赞清率领的义和拳已经将廊坊前面的铁路拆毁一空，枕木被烧毁，还搬来了很多大石头拦在原铁路上。西摩尔这才认识到，继续乘火车前进的可能性已经不大了。
无奈之下，西摩尔联军只能边修边走，进军的速度奇慢无比。不仅如此，在6月14日的下午，西摩尔联军再次遭到义和拳勇猛的冲击，虽然他们用步枪和机枪打倒了一些拳民，但那些人毫不畏惧、视死如归的精神气质让洋兵感到震惊和恐惧。当晚，义和拳再次趁夜发动袭击，5名站岗的意大利水兵因为在玩牌而被剁成碎块，这让西摩尔联军感到惊恐，士气开始变得低落了起来。
6月15日，西摩尔在听说落垡一带的铁路再次遭到破坏后，便让一队德军留守廊坊车站，随后率部返回查看。西摩尔随后看到的场景令他感到十分震惊，落垡到天津的铁路和电报线已经完全被义和拳拆毁，即使西摩尔联军想乘坐火车返回天津，这也已经是不可能完成的任务了。由此，西摩尔联军不但失去了与北京公使们和天津方面的联系，连他们自己也陷入了极大的困境：无论是继续前往北京还是返回天津，看来他们都得放弃火车。但是，西摩尔联军大都是水兵出身，他们对下车作战有着天然的恐惧。此时让他们放弃火车几乎就像放弃军舰一样困难，特别是在宽阔的华北平原上被蚂蚁般聚集的义和拳民包围时，他们的两千多人几乎是如此的微不足道。
6月16日，西摩尔接到北京的公使们派人送来的信函，他们在埋怨联军进军的速度太慢的时候，还刻意强调了使馆所处的危险境界。在此情况下，西摩尔决定放弃乘火车进军北京的计划而改沿白河继续前进---当年的英法联军就是这么做的。于是，西摩尔率联军返回杨村车站，并收集船只准备从白河北上。从某个意义上来说，西摩尔不肯放弃北上的其中一个重要原因是，清廷的正规军并没有参与对他们的进攻。
但6月18日的事件改变了西摩尔的看法，因为当天驻守廊坊的德军首次发现有清军出现，这支清军便是董福祥所部的甘军。董福祥本受命在北京城外修筑工事准备迎击联军的，但等了好几天也不见联军的踪迹，于是董福祥便派分统姚旺出城巡查，并在义和拳的帮助下在廊坊找到了留守在廊坊车站的德军。在姚旺的指挥下，义和拳首先向德军发动了攻击---尽管效果不大而且伤亡惨重---随后正规军开始进攻。
德军很快便意识到这次攻击非同以往，因为对方的战斗力和武器装备明显不同于之前的义和拳，后来好在一批英法水兵及时赶到，德军的防线这才没有被突破。尽管如此，这是联军首次遭到重大打击，他们在这次真正的战斗中被打死10人，重伤50多人。当然，清军和义和拳的伤亡很可能是他们的十倍以上。
当从廊坊回撤的德军等载着联军士兵的尸体和重伤员返回杨村的时候，西摩尔终于意识到，进军北京已经不可能。他们当时能考虑的，只能是祈盼上帝能让他们安全的返回天津。但是，这个任务也并非是轻而易举就能完成的。
