霍芝庭在香港呆了两年，这是他出道后唯一的全心从事正途生意的岁月。正因为这段经历，他儿子后来成为省港澳著名的银行家。
交结权势
从前文中我们已可判断霍芝庭是个善于走官方途径发财的人。上世纪20年代后，霍氏交结权势游戏玩得更娴熟、更触目。
1923年，各路援军入粤平定陈炯明叛军，杨希闵所率的滇军盘踞在广州市区中心地带。滇军先开番摊，接着又对山铺二票招商承饷。定出月饷3万，上缴广府财政；另外每日给滇军700元保护费，折每月万元，实际承饷应为万。这比旧桂系每月11万赌饷要少一半。但当时广东战事并未完全结束，市面仍有陈炯明卷土重来的谣传，很多赌商裹足不前，不敢承饷。结果让有胆有识的霍芝庭一举获得广东的山铺票的承办权。澳门赌商李镜泉持有少许股份，参与具体经营。
滇军与霍芝庭约定试办3个月，期满再议。霍芝庭在总公司下设三八厂和五十厂（均指初三、初八、初五、初十开彩）。山票方面，霍氏倚仗滇军杨司令的后台，打破六成充作彩金的旧规，只拿出五成派彩。试办3月，霍芝庭盈利20万元。
当然，这20万不可能全进霍芝庭等的腰包，他必须拿几万出来打点滇军的要员，否则他开不成赌。
滇军庇商渔利的做法，引起其他军阀不满，省财政厅趁机把山铺票的招商权收回，公开招商承饷。财大气粗的霍芝庭力挫群商，以10万的巨额月饷中标，为期一年。霍芝庭每月约有8－10万利润，每年收百万巨利。
从1924年至1931年，山铺票的承办权皆由霍芝庭设法投得。
1925年，国民党元老胡汉民督粤，创立“禁内弛外”的禁赌政策。胡汉民的放松城外，并非撒手不管，只是不禁赌而已，省府仍把广州城外番摊划片招商。城外最旺的地区是省河南岸，这似乎成了霍芝庭的世袭之地。
1928年起，国民党各派为争夺广东的党政财权矛盾日益激化。一贯善于结交权势的霍芝庭干脆一个也不巴结。他非但不巴结，还与官府大斗法。
次年，霍芝庭的山铺票承办权即将届满，要重新投标。众赌商莫不眼红霍氏拥权攫利，以大捐商（麻雀捐）邹殿邦为首的赌商财团，与霍芝庭竞投。底价月饷20万，邹氏出价25万，霍氏一下子提到30万。邹氏财团吓怕了，退出竞投，霍氏中标。这30万是个危险的数字，依当时的“赌情”，怎么办都赚不到钱。霍氏却自有一番算盘。
承办一年，果然没有盈利。招标下一期，按规定底价不能少于上一期的承标价，只能定为30万。30万没有一个赌商投标，按规定承办权由上一期捐商（当时官方对赌商的称谓）续办，标金不变。但是霍芝庭故意不接，赌饷是省库的财源，没人接岂不断了政府财路？于是省财政厅与霍芝庭协商，同意霍氏将票价提高，并改善投买开彩方式。“改革”出效益，霍芝庭一个月盈利竟有33万，年盈利高达400万之巨！
1931年，陈济棠掌握了广东的军政大权，对广东实行半独立的专制统治。广东局势安稳，陈济棠逐步把精力放到广东的经济、文化和市政建设上来。庞大的财政开支，约有六分之一来自烟赌饷。
善于见风使舵的霍芝庭马上交结上“南粤王”陈济棠。因此，在陈济棠治粤期间（1931-1936年），霍芝庭获利最大。他垄断了省城的山铺票的承办权，续办省府的番摊。他还在全省各地设立赌业公司，参与当地赌牌的投标。结果，县属的番摊等义会的赌牌，大都为他的分支公司投得。1933年广东全省的防务经费（赌饷）年约1400万元，霍氏公司缴饷达70％，他的公司获利约有1000万。
