后来，纺织工厂突然衰败了，或者说向美国南方转移了，因为那里的劳动力更廉价。在20 世纪20 年代，新贝德福德的工人们（大多数都是移民）被迫忍受一次又一次的工资削减。1928 年，当纺织厂主要求进一步削减10 ％的工资时，工人们只得揭竿而起。此次罢工持续了5 个月之久，让人感到非常痛苦。之后，许多纺织厂没能重新开业，而那些重新开业的工厂又赶上了经济大萧条的狂风暴雨。到了1940 年，纺织业的工人队伍已经骤减至区区9 000 人。
值得一提的是，面对这个日趋衰败的行业，纺织工厂的投资者们十分淡定。到了20 年代末，尽管他们获利依旧丰厚，但工厂里运转的依然是陈旧不堪的机器。同时，股东分得的红利也相当丰厚，基本上可以达到10% 。这些业主们把资金抽调到南方的纺织厂，投到了股市上，也花在了他们的豪华游艇上。不论这些钱流到了哪里，业主们都牢记捕鲸者的训诫：一旦这个行业走向灭亡，他们就再也不会注入新的资金。在这些工厂里只有一个例外，那就是哈撒韦制造公司。
哈撒韦制造公司是由西伯里·斯坦顿经营。他志向高远，举止优雅。他的祖父是一艘捕鲸船的船长，父亲曾任哈撒韦制造公司的总裁。西伯里出生在新贝德福德，于1915 年毕业于哈佛大学，在法国打赫蒂·格林是一位船业大王的继承人，据说在冬天她会裹着报纸取暖。她死于1916 年，作为当时世上最富有的女人，她留下了10 亿美元的财富。
过仗，并被提拔为陆军中尉。战后他又回来，成为哈撒韦的合法继承人，并在纺织厂里做过学徒工。要不是遇到了沃伦·巴菲特，他也许会在那里待上半个世纪。
西伯里·斯坦顿不苟言笑，态度冷漠，不过目光如炬。决定他命运的时刻出现在1934 年大萧条最严重的时期。当时的纺织厂一个个倒闭或是迁往南方。但是，西伯里就像他的航海者祖先一样，经过深思熟虑后决心要安全地闯过这场风浪。他设计了一个运营计划，为工厂增加现代化的设备。在后来的10 年间，他总共为纺织厂注入了1 000 万美元的资金。西伯里和他的弟弟奥蒂斯走进了股票交易所，大量买进哈撒韦制造公司的股票。他们胸怀高远的理想，认为如果股东的利益面临风险，自己就应该和股东站在同一条战线上。有了西伯里做舵手，考夫大街上这座红砖盖成的纺织厂勇猛地经受住了浪潮的冲击。
接下来几年的经营业绩可谓喜忧参半，哈撒韦建立了合成纤维分厂，而且在人造纤维制造业中一直处于市场旗舰地位。第二次世界大战对降落伞纤维面料的需求无异于给公司注入了一针强心剂。二战结束后，哈撒韦继续研发人造纤维，终于成为全美国，也许是全世界最大的男士西服面料制造商。但是，麻烦在于公司的产品非常易于被竞争对手仿制，它逐渐遭到了来自美国南方厂家乃至远东厂家的强烈冲击。后来，1954 年，一场飓风吞噬了整个工厂，使它蒙受了巨大的损失。有人给西伯里开出了非常优厚的条件，让他去南方重新投资办厂，但这位倔强的军官绝不认输。他不愿意离开自己熟悉的新英格兰，决定让哈撒韦与一个同样历史悠久的北方制造商伯克希尔精纺联合公司联姻。
