欧内斯特育有四子一女。大儿子克拉伦斯学习地质学专业，后从事油品贸易行业。二儿子乔治是个化学博士，后来落脚在美国东海岸。四儿子弗雷德继承了欧内斯特?巴菲特的百货商店。五女儿艾丽斯后来做了一名家政老师。
巴菲特父亲霍华德是欧内斯特的第三个儿子。他生于1903年，后入读内布拉斯加大学主修新闻学，并成为校报《内布拉斯加州人日报》的编辑。巴菲特母亲叫利拉·斯塔尔，利拉的父亲约翰·斯塔尔是好几家学校的董事会主席，还买过一家叫《库名县民主报》的报纸。斯塔尔是典型的犹太姓，巴菲特母系家族是富裕的犹太商人。按照犹太人遵从母系的角度来看，巴菲特也可以被看成是犹太人。只是这一点被人们有意无意地忽略了。
美国国父之一汉密尔顿曾这样评价过美国犹太人：“金钱是他们的偶像，他们不仅口头上，而且整个身心都崇拜它。在他们的眼里，尘世无非是个交易所，而且他们确信，在这尘世间，他们除了要比自己邻居富有之外，没有别的使命。做生意占据了他们的全部思想，变换所经营的货品，是他们唯一的休息。他们在旅行的时候，也要背上，比如说，自己的货物或柜台，而且所谈的不是利息就是利润。即使他们一时没考虑自己的生意，那也只是为了要探听一下别人的生意做得怎样。”巴菲特守财奴的个性，对金钱的疯狂追求，无疑受到其母系家族的影响，那都是典型犹太人价值观的体现。
20世纪20年代，美国经济一片繁荣，股价像坐火箭一样直冲云霄。1927年，霍华德进入金融行业，在联合州立银行做股票经纪人，收入颇丰。但好景不长，经济大危机爆发，联合州立银行于1931年8月13日破产倒闭。
当时，在美国东北最繁荣地区，各名牌大学的应届毕业生都难找到工作，连在纽约百货公司开电梯的工人都必须要有学士学位。威廉·曼彻斯特在《光荣与梦想》中这样描绘当时的失业狂潮：“那位衣冠楚楚、每天早上按时出门的青年律师，说不定是拣个偏僻地方去挨户兜售杂志、便宜领带、真空吸尘器、高压锅、‘二合一’牌鞋油之类的东西的。他甚至可能干脆换一套破衣服，在另一个市区向路人行乞。人在街头流浪久了，也能找到一些窍门。譬如，花五分钱要一杯咖啡，然后白要一杯开水，把柜台上的番茄酱倒一些同开水一搅和，就算是番茄汤了。冬天，报纸塞在衬衣里边是可以御寒的；如果料到在职业介绍所外面要排上几个钟头的队，事先用麻包片把腿包扎起来就是了。鞋可是个特殊问题。硬纸板可以衬鞋底，有些人还喜欢在鞋后跟垫上棉花，走水泥地少硌脚。但是如果一只鞋子真的完蛋了，那就什么办法也不中用了。最先磨破的是纸板，接着是袜子补丁，于是雪水渗进鞋里，糊满了脚丫子，加之鞋钉直扎脚跟，结果只好用一种特殊的姿势走路。穷人家为了省钱度日想出的种种妙法，说来真了不起。男人的刮胡子刀片磨了再用；自己动手卷纸烟，要不就抽‘翅膀’牌(一角钱一包)；为了省电，改用25瓦灯泡。孩子们捡汽水瓶到铺子里换钱，一个两分；上面包店排队买隔夜的面包。”
如果巴菲特家族只是普通贫民阶层，霍华德所能接受的命运免不了是“加入了在曼哈顿街上擦一次鞋得五分钱的七千‘鞋童’的队伍”，或是“插手走私运煤的勾当（纽约市10%的煤是由宾夕法尼亚州的失业矿工偷运进来的）”，抑或干脆“只是混迹在市内那82条长龙里领面包度日。如果身边还有一角钱，还可以在充满汗臭和消毒药水气味的小客栈里睡他一宿；如果身无分文，就在街上捡些报纸当作铺盖，到中央公园、地下铁道站口，或垃圾焚化场去过夜了。做丈夫的这样出去走了一趟之后，钻进空货车或者趴在车底下，又回到家里，不免同妻子合计，看看家底子还能维持多久。于是变卖结婚戒指，抵押家具，凭人寿保险单借钱”。即便霍华德找到工作，也不过是像当时《时代》周刊所说的被“无法无天的雇主把工资压低到中国苦力的水平了”。
毕竟出身于富裕家庭，失业不到两周时间，霍华德和两个合伙人就在奥马哈法纳姆大街的联邦州立银行大楼成立了一家股票经纪行，名字叫巴菲特-福尔克公司（Buffett-Falk&Company）。当巴菲特父子商店以周薪17美元聘请一位司机开橙色卡车运送货物，竟有50个男人排队竞争。当普通平民在这场经济大灾难中煎熬时，霍华德反而因祸得福，凭着有钱的亲朋好友的帮助，将生意做得越来越红火，收入比在银行工作时还要高得多。后来，霍华德在回忆那段岁月时说过，“即使是在艰难的日子里，我们的生活水平也在稳步地提高”。
