林瓜四这么一来，可把香山县害惨了。他这些年先抢香山富商大贾，以及在海外做生意的华侨。这些人被抢怕了，纷纷奔走广州、香港，有的还去了南洋，再也不敢回到这块伤心之地。接着，去抢乡下有田有地有积蓄的财主，称之为“杀肥猪”。一些财主家构筑碉楼，购置洋枪土炮，请来看家护院的保镖，也挡不住他手下那帮亡命徒的明火执仗。本地财主很快被折腾得家徒四壁，成了再也榨不出啥油水的破落户。接下来，去抢居住在附近大小岛屿上的船主和渔民，这些人架不住众匪来回劫掠，将老婆孩子安顿到船上四处漂流，从此把香山视为“鬼见愁”。他眼看香山没啥现成银子可抢了，一双贼眼转向稻田等待收割的稻谷，指点匪众说：“将抢来的稻谷车载船装，运往港、澳出售，转眼也是白花花的银子。”
近两年香山远近地方，每逢早晚两造稻谷收割季节，便是匪众下乡大肆劫掠之时。可怜香山农户，一年辛苦耕耘，眼看开镰收割在即，霎时被土匪车载船装掠走，皆痛不欲生。然而，富商大贾、地主老财，乃至船主渔民，惹不起躲得起。农民却被田土牢牢拴住，连背井离乡的资格都没有，即使这一季遭抢，下一季照样还得耕耘播种，因为断了耕作就彻底断了这个群体对生活的指望。
香山有位出身武术世家的年轻都司，大约相当于今日县人武部的部长，姓李名炎山，在本县任职不到两年，也经不住林匪的反复折腾，头顶黑黝黝的辫子很快变了颜色，如同伍子胥过昭关，一夜愁白了须发。他起初请求两广总督府发兵征剿，无奈官兵一来众匪迅速溜进澳门躲藏，官兵一走马上又返回香山劫掠，每次调兵遣将皆徒劳往返。他随后组织本地乡丁民勇，就地出击，自保家园，然临时集合的乡民非悍匪对手，“猫抓老鼠”反过来成了“老鼠抓猫”。他无奈之下，在香山与澳门相接的鸡头山建设堡垒，构筑封锁线，意欲切断澳门与香山的通道，但断了陆路断不了海路，土匪依然来往如故。李炎山本已心灰意冷，近日得知李准剿匪有成，这才重新拾回一些自信。他数次请求总督府派李准来香山剿匪，迟迟没有得到答复，如是怂恿乡民去罗浮山拦岑春煊的轿子，非把李准这个“活钟馗”请来香山打鬼不可。
林瓜四此时在澳门一家茶楼，正跟几个心腹谋划远走高飞，脱离香山。不过并非害怕李准来剿，而是发现这些年在本乡本土“竭泽而渔”，实际已经断掉了自己的财路，如今香山能够供其劫掠的禾稼，不但受季节限制，数量也很有限，无法满足他和同伙的穷奢极欲。他后悔道：“祖师爷教导‘兔子不吃窝边草’，看来不是为发善心，而是要给自己留后路。”有心腹吹捧说：“不怕，这个世界上只有老大想不到的事，没有老大做不到的事。”还有心腹拍马屁：“这个世界上，哪有我们老大想不到的事？”
林瓜四听了这些话，心里一激灵，拍着大腿说：“香山巴掌大块地方，即使再费力气，也是鹭鸶腿上割肉，鸡脚杆上刮油。不如干脆离开澳门去香港，傍上‘日不落帝国’，去东莞、惠州开辟新财路，连带把广州也圈进来，到时候搂着金山、银山睡觉都不成问题。”几个心腹听说要去香港，都像吸食了鸦片，立刻亢奋起来。有心腹恭维：“香港池大水深，我们这些小虾米到那儿也会养成大龙虾，老大自然就成虎头鲨了。”还有心腹凑趣：“只是不知老大舍不舍得葡京赌场的轮盘赌和怡红院那些大屁股洋妞？”林瓜四不屑道：“瞧你这点儿出息，鼠目寸光！我听说只有去美国的纳什么加斯才能过足赌瘾，也只有去法国巴黎的红磨坊才能真正尝够女人的滋味。”众人兴奋得又蹦又跳：“这叫水往低处流，人往高处走。”
