伯克希尔·哈撒韦帝国逐渐分崩离析。西伯里还在极力宣扬纺织业的光明前景，而在纽约负责推销纤维面料的销售人员却认为这是一个已经衰败的夕阳产业。有一次，伯克希尔·哈撒韦的一位推销员和一个客户在纽约第5 大道会面，向他推销手绢布料。这位客户指着窗外一位走进洛德与泰勒百货商场（Lord & Taylor ）的女士说：“看见了吗？所有的女性手里都拎着手袋，每个手袋里都有一盒舒洁纸巾，这就是手绢行业终结的标志。”
到1961 年年底，伯克希尔·哈撒韦只剩下7 家工厂了。在之前的3 年中，公司共注入1 100 万美元。尽管公司的设备性能有了提高，但是生意却鲜有起色。公司生产的普通平织布料无法从激烈的竞争中脱颖而出。当竞争对手的产品充斥整个市场的时候，伯克希尔·哈撒韦越发显得孤立无助。因此，到了1962 年，也就是伯克希尔·哈撒韦完成现代化改造的那一年，它的运营损失竟然高达220 万美元。
当时，西伯里和奥蒂斯两兄弟之间的夙仇更加激化，因为西伯里打算把职位传给自己的儿子杰克·斯坦顿。杰克是一个高高瘦瘦、长得有棱有角的男孩，很像他父亲，但他的蓝色眼睛中流露出一丝忧郁。杰克步父亲的后尘，在哈佛大学念了书，也参加过世界大战，还曾经在海军陆战队的棒球队里投出了不少好球，费城体育学院曾经很希望把他招进学校，但是西伯里不准他去。杰克是个极富责任心的孩子，他放弃了棒球，来到织布厂，“他和工人们并肩工作，弄得满手油污”。1962 年，性格冷峻的杰克已经是公司的总会计师了，年逾古稀的西伯里打算再工作几年，把儿子扶上总裁的宝座。奥蒂斯和马尔科姆·蔡斯都觉得杰克资历不够，于是便开始秘密地物色其他人选以取而代之。
伯克希尔·哈撒韦的股票在华尔街备受冷落。投资信息提供商价值线公司的一位证券分析师理查德·蒂利森曾在1955 年年初推荐过伯克希尔·哈撒韦的股票，当时推荐的目标价是每股14.75 美元。在接下来的几年中，理查德·蒂利森也经历了市场供过于求以及纺织厂纷纷倒闭的艰难岁月。到了1963 年年初，伯克希尔·哈撒韦的股价已经跌到每股8.125 美元，比理查德·蒂利森最初投资时缩水了45% 之多。
然而，这位纺织业股票分析师心中希望的火焰多年来一直都没有熄灭。1963 年3 月，理查德·蒂利森发布分析报告，称伯克希尔·哈撒韦公司“目前的经营前景比之前相当长一段时期都要好”。当年6 月，他更是不遗余力地为伯克希尔·哈撒韦摇旗呐喊，预测公司第二季度会有一定的盈利。到了9 月，他不得不再次公开宣称公司业绩反弹尚需时日：
伯克希尔公司目前暂时还无法实现之前的盈利预期，因为大量的棉布制造商现在都已迅速转产到混合纤维上来，这一趋势导致市场暂时处于疲软状态。
