在管理过程中，西伯里变得越发孤僻了。他对员工的着装都有严格的要求：经理必须穿带有菱形花纹的袜子和白衬衫，秘书们必须戴手套并穿长筒袜。如果有哪位公司的高层在公开场合身穿运动夹克出现，立马就会遭到他的严厉呵斥。在他的领地里，他与所有人的交流都采用书面汇报和批复的形式。他一直在一块离员工非常遥远的办公区工作，和大家极其疏远，大家背后都称他的办公区为“象牙塔”。马尔科姆·察思回忆说：
西伯里在二楼顶部有个办公室，谁要想在办公室里见他，就必须首先经过他的秘书，而在那以前还要先经过他秘书的秘书。如果那边打电话让你去他办公室，那你就得爬上一段长长的楼梯，在走廊的尽头有一扇门，推开门你会看见一张长长的会议桌，而在桌子的另一端你才能看到西伯里的办公桌。
中午，他会从宛若皇宫一般的象牙塔走下来，钻进一辆等候已久的凯迪拉克房车。车子快速开过南区工薪阶层简陋的木屋子，载他回家吃午饭。尽管从楼上就可以鸟瞰整个厂房的状况，但他几乎从不和工人接触。每年，他仅仅会在圣诞节的时候问候一次上夜班的工人：他会从象牙塔走下来，和工人们一一握手，而工人们也会故意在手上涂满机油，“期盼”着与老板每年一次的握手。
西伯里和他的弟弟奥蒂斯性格不合。奥蒂斯强烈反对哥哥进行再投资的计划，另外他对西伯里不惜冒工人罢工的风险，坚持削减工资的做法也相当不满。兄弟两人之间的隔阂也渗透到了公司的方方面面。
奥蒂斯一直在新贝德福德和位于纽约服装区的销售办公室之间来回奔波。他是一个性格开朗的人，哈撒韦公司人造丝纤维服装面料之所以能打开销路，他绝对功不可没。正是奥蒂斯把哈撒韦公司的合成纤维和其他面料推销给了“加工批发商”，由他们对这些材料进行印染和加工，然后将其推销给服装制造商。在战争期间，其他供应商都是靠弄虚作假和贿赂来蒙混过关，但奥蒂斯一直都奉行童叟无欺的商业原则。战争结束之后，尽管商品供应更加充足，但那些信赖他的客户们仍十分愿意跟他合作。
但是，擅长生产管理的西伯里却开始侵占奥蒂斯的地盘。他在内部建立起一个新的分部，主要加工纤维材料，然后直接销售给服装制造商，这样就撇开了“加工批发商”这一群体。这一举动在新贝德福德人看来似乎是明智的，但却忽略了纺织贸易中的一个重要事实—纺织业是由非犹太人控制的，而加工批发商和服装制造者却往往都是犹太人。“你要和他们做生意，就必须先和他们处理好关系，”伯克希尔公司纽约分销部的一位副总裁斯坦利·鲁宾解释说，“这是西伯里犯下的致命错误，直接酿成了最终的悲剧。”
