在回山东的路上，庞三杰等人又劫掠了单县的教民财产并烧毁了天主教薛孔楼洋学。在这过程中，庞三杰的人马增加到上千人，在从砀山县到单县和丰县的路上，他们烧毁了九十多家教民的房子，随后又返回侯家庄并将那里的建筑付之一炬。
这时，江苏的官员们终于按捺不住了，他们随后调集了一支相当规模的军队前来镇压。威胁之下，庞三杰随后又向刘士瑞请求增援，后者派出了他的得力弟子彭桂林前去领导山东大刀会的成员。但是，庞三杰的队伍因为夹杂了太多原本不是大刀会的人而变得纪律失控，为了解决食物问题，庞三杰和彭桂林只能对这些人的劫掠行为睁一只眼闭一只眼?---不管是官军还是贼军，当时打起仗来后勤问题总是一片混乱。
6月28日，庞三杰、彭桂林等人率大刀会围攻单县和砀山县交界的马良集，次日攻入后对集内的盐店、酒店、京货铺、杂货铺及江南裁缺外委衙门进行了一番抢掠。这些人的举动激起了地方团练的愤怒，当时马良集的寨主率领上千人与之对阵，并协助赶来的官兵一起进攻，最终大刀会失利，在死伤了八九十人后，首领彭桂林和智效忠分别被擒被杀，庞三杰侥幸逃命，余众则一哄而散。
庞三杰引发的事件被武力平息后，迫于德国和法国公使要求严惩凶手的压力，山东巡抚李秉衡决定对大刀会进行弹压。为根除隐患，李秉衡向当时已经升任为山东按察使的毓贤及新任兖沂道锡良分别发布指令，要求将刘士端和曹得礼二人予以处决。李秉衡此举，似乎是有意要撇清与大刀会的关系，以免有“包庇纵容例禁会匪”之嫌，而这两位新任的官员，显然也要对上司有所表示。
于是，这次的事件有了一个圆满的解决，庞三杰在离开家乡一段时间后，又返回了老家并逐步恢复了他的社会地位。令人称奇的是，庞三杰随后开始频繁的参与教会活动，在1897年秋天因“巨野教案”爆发而导致地方局势不稳的时候，庞三杰还曾亲自前去保护耶稣会的江南主教通过这个教区。更有意思的是，庞三杰后来并没有参与义和拳的任何活动，他后来接触到山东的革命党人并投身于革命活动，1936年国民政府还曾为他立碑。
从这个戏剧性的事件或许可以看出，当地民众对教会并没有绝对的仇恨而更多的是一种利益纠葛，而教会干涉词讼并借以发展教民也是不争的普遍事实。至少从徐州教区来看，在庞氏家族皈依教会后，这个教区的教民在随后的几年中得到急剧的发展，1896年徐州教区入会人数只有3550人，1897年则达到10000人，而1898年是17000人，1899年甚至达到了26000人。
