接到曾国藩的信后，曾纪泽吓坏了，曾国潢倒不着急。他知道怎么解释才能令曾国藩满意。他回信给曾国藩说，这个房子花钱如此之多，主要都花到那个藏书楼上了，为了让藏书楼坚固永久，他们想了很多办法：“富厚堂造书屋七间，芳六、科二毫不荒唐半点，盖以地基昔系涝田，石脚砌丈余而后平土面，此中工价已占千馀串：通体用青砖，料木多杉树，尤非可以寻常计算也……”
就是说，这个书房造得很坚固，因为地基比较软，所以用石头砌了一丈深的基础，这就花了一千串。而通体用青砖，木材都用的杉木，这也花了很多钱。
曾国潢深知，曾国藩处处都可节俭，只有藏书舍得花钱。所以讲清楚这些钱是怎么用的，曾国藩的气就会消了。确实，今天我们参观曾国藩这座故居中的藏书楼，会发现它的设计和建造确乎有别于宅内的其他建筑。虽然贵为侯府，但是富厚堂中的大部分建筑或外包青砖，内用土坯，或者前脸用青砖，其他部分用土坯，比土财主还俭省。只有这座藏书楼舍得血本，一楼外走廊全以花岗岩为柱，为的是防白蚁；一至三楼通体用青砖，都修有专用上下书籍的通道。二楼四周有外走廊，可以晒书；书室辟在三楼。整个藏书楼所用木料都是上好杉木。顶层四周均开设窗户，四面通风，可避免藏书霉变。和宅内其他建筑比起来，这座藏书楼确乎别具匠心，花费了曾氏叔侄不少心力。
果然，经曾国潢这样一番解释，曾国藩也不再批评了。这座藏书楼也成了曾国藩留下的唯一一座“豪华建筑”。事实上，它后来已经成为江南最大的私家藏书楼之一，虽远不及苏浙的“天一阁”等有名，但规模则比它们还要大。里面藏书达到三十万卷，其中不乏珍本。可惜曾国藩告老还乡的愿望一直没能实现，因此到死也没能亲眼见到这座藏书楼。在曾国藩身后，这些藏书及文件中最珍贵的部分，被曾宝荪、曾约农带去了台湾，现在寄存在台湾“故宫博物院”。“富厚堂”其他的当时认为比较珍贵的藏书，共计两百多担，一九五○年冬被湖南省文管会运往长沙封存，侥幸躲过了文化大革命，现在存在湖南省图书馆和省博物馆。至于其他大部分，几十万卷当时认为没什么价值的藏书，在经历“土改”“四清”“文化大革命”之后，都不知去向了。这些书在解放后被认为是废物，“土改”的时候，村民发现这些废物还有点用处，他们把曾家线装书的上下空白的部分裁掉，订成小本子，用来记账，其他的都扔掉了。今天我们到藏书楼上，看到架上还零星躺着线装书，其实这是些影印件或是从附近村民家收来的旧书，只是摆摆样子，曾家原来的藏书，一本也没有了。
这是曾国藩的遗产情况。
曾国藩去世之后，曾家断绝了最重要的收入来源，所以生活一直很不宽裕。曾国藩死后第五年，其子曾纪鸿因家人病重，缺钱医治，不得不托左宗棠向远在新疆的刘锦棠借钱。左宗棠知道这个事情之后，十分感动，送了他三百两银子，过后还写信告诉自己的儿子说：“以中兴元老之子，而不免饥困，可以见文正之清节足为后世法矣。”就是说，这样一个官二代，有功之臣的后代，现在这样穷，可见曾国藩确实是一个清官。
其实曾家人当初如果想要发财，实在是有太多机会了。比如很多人就通过曾国藩亲手创立的两淮盐票发了横财。这些盐票起初定价很便宜，而利息却非常高，比今天的原始股还赚钱。据曾氏后人讲：每张盐票的票价二百两，后来卖到二万两，每年的利息就有三四千两；当时的社会，家里只要有一张盐票，那就是富翁了。当时社会上因盐票发家的太多了。江西著名的富商周扶九原本为一介贫民，在长沙的布庄里做店员。有一次，他替店主去扬州收账。欠账之人一时手中无钱，愿以盐票抵偿，而店主不知道盐票是怎么回事，不同意。周扶九当机立断，自己借钱拿下盐票。凭这几张盐票，他迅速成为富翁，后来身家多达四千五百万两。
