“洋土匪”的行径在当地老百姓中引起了极大愤怒。1841年5月30日，上万民众和乡勇采用诱敌深入的战术，在三元里包围了部分英军。当天正好下起大雨，英军的燧发枪失效，只得用刺刀进行作战，这使得广东人的功夫在雨中大显神威。英军被砍死砍伤多达49人，仅次于奕山组织的正规作战，这就是著名的三元里抗英。
但是这实际上对整个局面已经影响不大，英军很快派出持有击发枪的部队前去救援。击发枪又叫雷击枪，这种枪械是不怕雨淋的，一开枪，民众即四散而去。
老天爷不可能每次都帮忙，相信奕山如果与义律一对一贴近肉搏的话，也未必就处于下风，可人家不会给你这机会啊，而且英军明确告知，这种来自民间的攻击若不中止，停战协定便作废，先把广州城给你占领了再说。
虽然在给道光的奏折中，奕山恨不能把“三元里抗英”的功劳也揽自己身上，但他是个聪明人，该服软还是乖乖服软，该交的钱也不敢少一个子。
1841年5月31日，英军拿到了全部的“赎城费”，开始陆续撤退。一周后，海陆军完全退出广州，甚至连虎门炮台都交了出去——以英军这样的机动速度，以中国军队这样的防守能力，他们眨眼之间又可以重新控制广州，怕个甚啊。
杨芳的担忧果然没错，折腾半天，什么效果没起到，反而损兵折将，还多付出去六百万。
事情到此还不算完。作为主将，奕山得给皇帝一个理由，一个战败和“赎城”的正当理由。
在随后发出的奏折中，奕山没有否认英军攻占四方炮台的情节，但他说这是“汉奸”作祟，里应外合的结果，并不说明英军有多高明。
不过不管怎么编排，如此结果总是令人气短，而下面的发展，若是照实说的话，无疑会更令人沮丧——马上要到战败认输的那个环节了。
恰恰到这里，奕山显示出了丝毫不输于优秀文学家的想象力和创造力，他笔锋一转，端上了一盘比武侠小说还要精彩得多的“文学大餐”，题目或可称之为：我与“夷人”的那点事。
