其时，霍芝庭在广州的西园大宅，闻之认为时机已到，支使心腹进行幕后活动。３月的某日，孙中山准备出席广州商团暨商会之酒会，届时孙中山要发表演说，鼓励商团服从军政府（注：商团是买办资产阶级商人武装，有相当于一个军的兵力），激励商人向北伐捐款，支持革命。这次商团酒会竟被陈文甫操纵，由霍芝庭暗中出资，在昔日赌街东堤大新公司的酒楼操办。
在陈文甫的鼓动下，转行从事正业的旧赌商纷纷向商会表示，愿意捐款支持孙中山北伐革命。出席商团酒会的商界代表约有过半是旧赌商，而出席酒会的军界政界要员也有不少赞成弛禁。陈文甫准备在适宜的时机，挑起话题。已经“金盆洗手”的各业商人便会向孙中山进谏，声明自愿捐款毕竟有限，届时都说连禁赌最严厉的香港都允许开办彩票赌博，暂且招商承办，军饷必然充盈。
酒会如期举行，曾在五邑承办过山票、如今开办绸缎庄的刘霁熹，在陈文甫的暗使下，挑起话头，谈起昔日东堤山票、铺票、番摊的盛况，以及赌业向省库缴纳巨额饷金的“贡献”。
孙中山认真倾听，数个赞成弛禁的军官则在一旁敲边鼓。此时，一位身分不明的座客支使一个十余岁的孩童站到中央，当场将塾师教的“戒赌文”朗朗背出。“戒赌文”有“前清所犹可及止者，桂系竟燃其死灰；民国所并未经见者，桂系竟甘为作俑”的词语。
孙中山听之，大为动容，率先鼓掌。四座掌声雷动，一些倾向弛禁的军官慨叹：“赌祸之甚，童子犹不忘，我辈当如何永绝耶？”
此事在当时影响很大，事后，孙中山表示：“北伐虽事大，然军饷再紧，亦不可向赌博伸手。”陈炯明重申禁赌令，并说：“只要本人一天在粤，绝不弛禁！”
霍芝庭苦心孤旨炮制的“弛禁酒会”泡汤。当时传说陈炯明闻之募捐酒会给赌商操纵，故派人带一孩童在酒会背诵“戒赌文”。
霍芝庭对陈炯明恨得咬牙，又无可奈何--陈炯明是孙中山的心腹爱将，孙中山的势力越来越大，统一中国不再遥遥无期，只要陈炯明执意治粤，粤省就会是陈炯明的独立王国。 霍芝庭失望而沮丧地去了香港。
谁知道陈炯明会叛变孙中山，陈氏的粤省江山会这么快覆没呢？
密切注视局势发展的霍芝庭没想到；他的悉知政治形势的师爷吴苑卿没想到；中国和广东的军界政界要员们没想到；甚至连孙中山也没想到会这么快发生！
陈炯明叛变革命，并非一时的冲动。１９２１年８月，陈炯明指挥粤军将陆荣廷桂系逐出广西，统一了两广。陈炯明自恃军功显赫，不把孙中山放在眼里，多次不服从孙中山的北伐调遣；还杀害忠于孙中山，曾是陈的起家搭档，任粤军参谋长的邓铿。
１９２２年４月，陈炯明勾结直系军阀，辞去粤军总司令，在孙中山的挽留下陈仍保留军政府陆军部长职务。５月，孙中山亲赴韶关督师，发布北伐总进攻令。粤军许崇智、李福林、梁鸿楷、黄大伟等部在北伐前线作战，而陈炯明的嫡系部队按兵不动，陈还指挥其亲信叶举从粤西率部进驻广州。孙中山只好令胡汉民留守韶关大本营，自己返回广州，准备说服陈炯明出兵北伐，同时作了揭露陈破坏北伐，敦促其退出广州的打算。
６月１６日凌晨，陈炯明发动兵变，全面攻占广州的各要害机关，控制市内要隘。陈炯明指挥４０００多人围攻总统府，下令炮轰了孙中山所住的粤秀楼。
孙中山在警卫队的保护下，脱险登上珠江上的楚豫舰，号召各军平定叛乱。后转登永丰舰（后改名中山舰），在江面与叛军对峙５０余天。蒋介石正是这个时候从上海赶到孙中山身边，这成为他日后发达的资本。８月，孙中山离开广州去上海，他所领导的第二次护法战争宣告失败。
然而，有直系军阀支援的陈炯明也未能得逞，在滇、桂、粤组成的讨陈联军的夹击下，于１９２３年元月率残部由广州败退惠州，盘踞在粤东一带。其间多次企图进犯广州，并对广州构成威胁，直到１９２５年底才彻底溃败。
陈炯明虽然最后众叛亲离，但就事论事，他仍是民国时期广东军政首长禁赌最坚决、成效最大的一位。我们同时也应看到，陈炯明在治粤期间禁赌的成功，是建立在严厉军法的基础上，并非社会风气好转的结果。
因此，陈炯明溃逃出广州后，禁赌期间压抑的能量来了个总爆发，军民齐齐开赌，各种赌种纷纷出笼，广州一时成了真正的赌博王国。
昔日的广东赌王霍芝庭，乘快船从香港卷土重来！
