但是，客家的集体聚居方式很特殊。一个大家族之内的十几个甚至达200个以上小家庭的居室，以祖堂为中心，组合成一座结构形制相当严谨统一的超大型集体住宅。一座超大型住宅几乎相当于其他民系的一座血缘村落，所以百姓也叫它为“屋村”。小家庭居室在这所大宅里既没有完全的独立性，也很少私密性，更谈不上个性。它们显示出客家人对宗族共同体特别强的依附性。
这种类型的聚居住宅，虽然在潮州、漳州一带非客家汉民中也有，但无疑在客家中最流行、最典型、最大量集中，成了客家文化中最容易被直接感知的独特因素。它们在各地区也有差别：福建西南部的汀江流域，盛行圆形土楼、方形土楼和五凤楼；在江西南部，赣江上游和东江上游的一角，盛行有角楼的方形土围子；在广东东北部，梅江流域的梅县，则盛行“围龙屋”。除围龙屋为单层的之外，其他各种都是多层的楼房。此外，在客家地区，还普遍有堂屋和横屋组合的住宅，两堂或三堂，两横或四横，最大的有三堂八横，即俗称“九厅十八井”的集合型住宅。
这些超大型聚居住宅，相互间的差别虽然很大，但都遵守相仿的布局模式，核心部分都是“堂横式”的。五凤楼的底层平面甚至和围龙屋的平面十分近似，不过五凤楼是多层的，围龙屋是单层并有一圈马蹄形的“围屋”而已。
这种大家族小家庭的超大型聚居住宅，大约形成于明代末年。形成的原因很复杂，众说纷纭，一时难有定论。不过客家的长期长途迁徙、当地的土客斗争以及此起彼伏的各种盗寇，迫使客家人产生很强的宗族凝聚力和个人对宗族共同体的依附，无疑是必要的条件之一。因此，圆形土楼、方形土楼、五凤楼都有很强的防御性。
但是，梅江流域的围龙屋在初期并没有特殊的防御性，虽然在光绪《嘉应州志》上有关历代各种匪患的记载不绝于书，只有到清代中叶，一种改进的围龙屋才封闭起来。至20世纪初30～40年代造的“华侨屋”则有铳眼、炮楼出现，可能是华侨的发家造成了客家内部阶层分化的结果。
围龙屋的形成，除了宗族的内聚力和客家人对宗族共同体的依附之外，至少还有两个原因。一个是妇女的作用和地位的特殊性。这有两个方面，一是妇女作为劳作的主力和家政的主持人，地位比较高，所受的礼制禁锢比较少，所以才能出现没有小家庭私密性的集合式住宅。另一方面，劳作和持家的妇女，更需要群体的支持。清人黄钊在《石窟一征》中写道：“乡中农忙时，皆通力合作，插莳时收割皆妇功为之，惟聚族而居，故无畛域之见，有友助之美。无事则各爨，有事则合食，征召于临时，不必养之于平日。屯聚于平日，不致失之于临时。其饷则瓜薯芋豆也，其人则妯娌娣姒也，其器则篝车钱也。井田之制，寓兵于农，三代以后，不可复矣，不意于吾乡田妇见之。”他把充满了合作精神的“屯聚”比作三代的井田之制，而且归之于“田妇”的需要。
另一个显而易见的原因是普遍的贫穷。从事于农耕的客家人，其宗族内部还没有发生有明显影响的贫富分化，在超大型聚居住宅里，每个小家庭不过占有三五间小小的房子。小家庭在早期围龙屋外圈按既定模式造房子的时候，也是三五间甚至一两间而已。在寺前排村，清代中叶第一个因经商而致富的十二世潘钦学，便离开住了九世的“老祖屋”而另建了一幢改进型的“上新屋”。在“老祖屋”里居住直到如今的，都是些务农的比较贫穷的人家，已经到了第二十世。
至于超大型集合式住宅的基本形制，则无疑受到潮州一带非客家汉民的“堂横式”大住宅的影响。潮州的汉民，也是从中原播迁而来的，也有大家族聚居的需要和习惯。他们的大型堂横式住宅，由小型的“四点金”、“三间过”、“五间过”到“三堂串”再加横屋，发展过程历历可见，很完整。潮州的经济和文化发达比较早，它位处韩江下游，而梅江和汀江是韩江的两大支流，所以梅江流域和汀江流域的经济和文化受潮州的影响很大。梅县的各作建筑工头都要到潮州学艺，有些工匠，如石匠、雕花匠、油漆匠等都从潮州聘来。所以，围龙屋的基本部分，即中央的堂横式部分，或许由潮州传播过来。梅县地方的特点是加了后面的围屋，成了围龙屋。但是，汀江上游的福建省永定、连城一带也流行堂横式住宅，并且可以见到围龙屋发展过程各阶段的典型实例。所以围龙屋的最初起源，更可能在汀江上游。
