长途移民无疑是一条血泪之路，清政府只好采取武力押送的办法。中国南方称上厕所为“解手”，正源于清朝移民路上，被捆绑的民众欲出恭都必须先向士兵请求“解手”。尽管如此，还是有许多人在抵制移民政策，这些人在失去土地后，甘愿成为“流民”，过着一种江湖放荡的生活。“流民”的存在，大大加剧清朝统治的危机。十九世纪早期，不少“流民”在三合会领导下流窜广西，以抢劫居民和武装打劫官府为生，他们甚至控制广西水道，收取保护费，过着一种类似海盗的营生，清廷称之为“艇匪”。英国诗人拜伦有诗咏海盗，“广袤啊，凡长风吹拂之地、凡海波翻卷之处，这全是我们的帝国，它的权力横扫一切，我们的旗帜就是王笏，所遇莫有不从，”“姑娘们在海边，怀想着海盗。”某些有理想而富于文艺青年色彩的“艇匪”头目甚至做起了宋江梦来，三合会纷纷在广西、湖南发动起义，如雷再浩、李沅发，张嘉祥等。可惜梁山式的浪漫总敌不过满清的屠刀，这些起义都被清廷镇压了，只有张嘉祥把宋江梦做到了头，招安后摇身一变，成了大帅张国梁。
广西的土地问题由于移民潮，在全国显得格外突出。据崔之清先生的考据，公元1851年时，全国人口四亿三千万，广西人口约七百八十万，但全国人均土地只有一点七亩，而广西竟然仅一点一亩。中国最称盛世的唐贞观年间，每人能分到永业田二十亩，口分田八十亩，相比之下，清道咸年间的农民真可谓无立锥之地。不光土地稀少，铜钱也在贬值，清朝前期一两银子折合一千钱，到了太平天国运动前夕，在广西出现一两银子换二千二百文钱的惊人局面。银贵钱贱，商业陷入混乱，商人纷纷破产，“向之商贾，今变而为穷民；向之小贩，今变而为乞丐”（《骆文忠公奏议》），农工商一齐崩坏，加以天灾，广西人都快活不下去了。清廷自述“广西山多田少，地皆涝确，物产甚稀。居民谋生无计，十室九空，冻馁难堪，盗心易动”（《粤寇起事纪实》）。李秀成自述其“家中之苦，度日不能，度月格（更）难”。在生活的重压下挣扎的广西人，喊出“在家做饥民，不如出外做流民”的呼声，然后他们又从流民变成三合会起义部队。
清廷在两广大肆撤防裁军，许多只会当兵的老兵油子无法谋生，只好混入三合会组织，做“山贼这份很有前途的职业”，职业军人加入组织，三合会叛乱声势大盛。“遣散之勇，半系无业游民，流入广西，剽掠为生，从此盗风愈炽”（《骆文忠公奏议》）。坐镇广东的总督徐广缙不但不支援自己有管辖职责的广西，反而依仗兵精粮足，以邻为壑，把游民和三合会乱党都驱赶入桂，广西三合会气焰更张。
不过，若要真正动摇清廷根基，这些会党流民显得未免太缺乏军事素养，也缺乏组织性。他们顶多成为太平天国运动的前奏和配角。光荣的反清任务，要等客家和土著的村寨仇杀，逼出军事化的客家农民来完成。
清王朝以孤儿寡母开国，统二十万八旗子弟入关，统治国内以汉族为主的数亿人民，犹如架扁舟航于怒海，稍不留意则粉身碎骨。有清一代，一直在汉族“反清复明”的会党叛乱中战战兢兢。国学大师钱穆说，因为统治基础薄弱，所以清代的政权建设，并无制度可言，着力处总归在防汉制汉的“法术”上。自康熙帝始，清廷在汉、回等族的纷争和汉族内部移民与当地居民的斗争中采取不作为的政策。一方面因为清廷在社会底层统治力量薄弱，一方面他们也乐于见到汉族的反叛力量在这些斗争中消耗。在这种政策指导下，中国下层社会一直动荡不安，客家人与本地人的武装纠纷在湖南、广西等地更是越演越烈。
大量涌入广西开垦土地的客家人，与广西本地土著居民之间矛盾重重。广西土地本就不多，客家人与本地人经常为了夺佃、夺耕问题发生武装械斗。由于三合会叛乱的影响和军事教育作用，客家人和本地人村社之间惨烈的仇杀很快升级，广西、湖南农村社会在十九世纪四十年代很快趋向军事化。除常见的土匪、会党外，乡绅们确信他们不能指望从贪污无能的官方得到援助，于是便建立了地方防御联合组织团，由他们来领导村社事务和动员民团。但“某些被称为团的民团本身与非法之徒毫无区别，一样趁机走私和拦路行劫”（《剑桥中国晚清史》上卷）。无论是士绅组成的团，还是三合会领导下本地人组成的堂，都严重地损害了客家人的利益。客家人在生存压力下，迅速地组织动员起来，开始发展武装力量。 “在本地人和客家人的争斗中，客家人有几种不利的情况。他们缺少本地财主们拥有的共同的家族结构，武装力量正是要靠宗族凝聚力才能稳定地维持下去；另外，他们还可能因分散居住（无核心可集结）而遭殃，这决定于他们的经济地位，因他们都定居在边沿地带的分散的小块土地上。在十九世纪四十年代的世代械斗期间，那些贫穷而无力防御的客家村社往往被迫离乡背井。虽然居住方式和财产都对他们的敌人有利，但共同的语言使各阶级的客家人在面临危机时得以团结起来组成一支可观的武装力量。在这种情况下，意识形态和方言使散居毫无防御的客家人能够应付四十年代后期的挑战，这时村社间的紧张关系已到一触即发的地步”（迈隆·科恩《作为中国东南地区社会文化变种的客家方言》）。
