这一点儿都不奇怪。尽管巴菲特在股市上屡有表现，但他的运作基本上还是相当隐蔽的，他在伯克希尔·哈撒韦公司的年报信件中写的内容都是事实性的，而且言简意赅，丝毫不像他写信给合伙人时那般文采飞扬，因此伯克希尔·哈撒韦公司更是让人感到难以捉摸。
公司的年度会议是在新贝德福德召开的，就在西伯里·斯坦顿那座陈旧的“象牙塔”里。在谈完正题之后，巴菲特让大家畅所欲言，提出各自关心的问题。这是每年唯一一次可以向巴菲特请教有关投资问题的机会，但是很少有人会提问。曾经和巴菲特一起听过格雷厄姆上课的科拉德·塔夫和他的弟弟，证券专家埃德温也前来参加，巴菲特则会花上几个小时来回答塔夫兄弟提出的各种问题。
人们对伯克希尔·哈撒韦公司几乎没有什么兴趣，甚至连报纸都不标出它的股价，任何人都可以买进它的股票，然后“免费搭上巴菲特列车”（就像合伙公司一样，大家无须为投资付费），但是几乎无人对它感兴趣。自从1973 年年中伯克希尔·哈撒韦的股票达到了每股87 美元的价位以后，它就一直在随大盘猛跌。到了1974 年，它的价格竟然缩水到只有每股40 美元。埃德温·塔夫回忆说：
人们普遍丧失了兴趣，即使那些认识沃伦·巴菲特的职业投资家也不例外。有人说情愿在每股80 美元的价位买进，就是想等着股价一路翻红，结果巴菲特宣布了自己将要退休的消息，让这些人望而却步。
但是巴菲特在头脑里似乎已经为伯克希尔·哈撒韦的未来勾画了蓝图，他还在更多地买进股票，甚至让证券业内的朋友们罢手，以使那些零散交易的股票一旦出现就可以直接落入他的手中。巴菲特在奥马哈的经纪人查尔斯·海德尔说：“沃伦·巴菲特不喜欢让别人买伯克希尔·哈撒韦的股票。”巴菲特决心巩固自己对公司的绝对控制权，他告诉公司的总会计师维恩·麦肯齐不要对自己的公司进行投资。（直到1978 年，巴菲特才告诉麦肯齐说他可以投资了，此时已是麦肯齐受雇于公司以来的第12 个年头。）
与此同时，巴菲特给伯克希尔·哈撒韦买入的股票也是一跌再跌，原先伯克希尔·哈撒韦买入这些股票花了5 200 万美元，到了1973 年年底，这些股票的市值跌到了只剩4 000 万美元。巴菲特给洛克福特银行的吉恩·阿贝格写信说：
不管你觉得银行在1973 年的经营业绩有多么糟糕，我的境况都比你更惨。幸亏我在进行这些投资的时候已经解散了合伙公司，这对我的合伙人来说应该是件好事。
