曾国藩去世的日子跟他的父亲是同一天（他父亲是在咸丰七年二月初四去世的，曾国藩是同治十一年二月初四去世）。见证者薛福成在其日记里详细记载了当时的情景。
右眼已失明两年多的曾国藩自正月二十三日开始右脚麻木，经久稍愈。二十六日傍晚，到水西门码头迎接他早年在京城读书的好友、时任河道总督的苏廷魁，因发眩晕旧症而回衙署调治。二月初二日晚，眩晕。次日晚，口不能言。初四当天上午，薛福成与他下围棋，一连下了三盘，曾国藩这次特别出奇，三盘都赢了，所以他非常高兴。等薛福成出去的时候，他把薛福成送到了窗外。
他回来的时候继续办公，大约办公到下午的时候，他出去了，到两江总督署的后花园去散步。他走着走着，连声喊足麻，接着就向前仆，跟随在身后的他的儿子曾纪泽连忙把他扶住，当即就传轿子，把他抬到大厅的中间。任凭大家千呼万喊，曾国藩这时候已经不能说话了，用手指着自己的心，画了几个圈圈，别人是否知道他想说什么，不得而知。然后端坐三刻而逝，去世时间是戌时，即晚上的七点钟。
这样一个挽救清朝命运于将倾的政治人物的去世，引起了举国震动。皇帝得知这一噩耗后，立刻派当时非常有名的大臣去治丧，同时辍朝三日，三天不接见朝臣，不处理朝政，以示国家对他的哀悼。
时任陕甘总督的左宗棠正在西北战场，前往兰州途中。得到这个消息，他的第一反应是感到非常悲痛，在给他的儿子孝威信中说：
涤侯无疾而终，真是大福。惟两江替人殊非易易，时局未稳，而当时贤能殊不多觏，颇为忧之。
左宗棠悲痛不已，后来又给他的儿子写了一封长信，大体表达了三点意思：
第一，他说，曾国藩的去世，我感到十分悲痛。不但从个人的私情交谊上来说，感到悲痛，更重要的是，我为国家的前途感到忧虑。曾国藩这样一个重量级人物的去世，势必在整个大清帝国当中引起很大的震动。
第二，他说，我们之间过去有争论，可能别人不太理解。我自己刚刚写了一副挽联，这副挽联道出了我真实的心情。世人议论所谓的曾、左不和，是外间腐儒的看法，我们所争的，都是国家的大事，国事兵略，并非争权竞势。
同时纤儒妄生揣拟之词，何直一哂耶？君臣朋友之间，居心宜直，用情宜厚。此前彼此争论，每拜疏后即录稿咨送，可谓锄去陵谷，绝无城府。至兹感伤不暇之时，乃复负气耶？“知人之明，谋国之忠”两语亦久见章奏，非始毁今誉，儿当知吾心也。
第三，他告诉儿子孝威：我送去了四百两白银作为丧仪，但仍不足以表达哀思。当曾国藩的灵柩过到湘江的时候，你要以晚辈的身份前去祭奠，“牲醴肴馔自不可少，如果能作诔词以致哀，申吾不尽之意，尤是道理”。最后他告诉儿子：我最佩服曾国藩的是，他的知人之明。所以我写的挽联是：
谋国之忠，知人之明，自愧不如元辅；同心若金，攻错若石，相期无负平生。
挽联中的落款特别重要，写的是“晚生左宗棠”。左宗棠只比曾国藩小一岁，两人结识甚早，相知最深。曾国藩后来做大学士的时候，左宗棠为总督。按照国家规制，总督在大学生前应以晚辈相称，即在大学士前称“晚”，但左宗棠给曾国藩去信说，我只比你晚生了一年，我们之间能不能破一破官场的规矩，我今后跟你书信往来的时候仍一如既往，不称为晚。曾国藩与他开玩笑地说：恕你无罪，今后我们就这样以兄弟相称。但是在这种极郑重的场合，左宗棠送的挽联，他恭恭敬敬写上的是“晚生左宗棠”。
左宗棠这里讲的曾国藩的“知人之明”，出自同治七年他给皇帝上的一个奏折，他通过曾国藩识拔刘松山这一典型事例，请求皇帝下一个诏书，让全国的封疆大吏，以及凡有提拔任用权的人，都向曾国藩学习，学习他的“知人之明”。他说：
刘松山本是王珍（湘军教父罗泽南弟子）旧部，臣十余年前即知晓此人，但没有感觉他有什么特殊的才能。后来
