当时的军机大臣里有一个人叫汪由敦，后来也是清代的名臣。此人是张廷玉的弟子，他一看皇帝脸色不对，就赶紧写了张小纸条让小厮送到张廷玉家，提醒老师小心点儿。
可张廷玉真的是老了，他做了一件糊涂得不能再糊涂的事——第二天天不亮就跑到宫门前去请罪。要知道，这时候皇帝的谕旨还没到张家呢，这不是明摆着告诉皇帝有人给他通风报信吗？张廷玉年轻时绝对不会犯这种错误，但他这时真的是方寸大乱，神智已昏。
这让乾隆皇帝怎么想？谢恩的时候你说有病来不了，一听说我发火了，就立即跑来请罪，还有人给你通风报信，在我这儿搞“潜伏”？乾隆皇帝就下了道谕旨把他一通大骂，意思是，鄂尔泰好歹还平定了苗疆有点军功，你一个秘书有什么功劳？最后的处理意见是，我老爹说要让你“配享太庙”，这我不管，就给你了；但是你的伯爵是我封的，这东西你得给我留下。反正咱俩没感情了，你就走吧。
这下张廷玉可就没招了，把伯爵这份不世出的恩宠生生地丢掉了。但是他也认了，准备来年三月卖卖东西，卖卖房产，然后就回老家。
难关彻底结束，落寞而死
乾隆十五年（1750年）三月春风一起，正当张廷玉要南下的时候，又出事了。乾隆皇帝的长子永璜死了，这是乾隆皇帝最钟爱的一个儿子，而张廷玉是他的老师。按照情分，葬礼是不能不参加的，所以张廷玉又以老迈的身躯参加了永璜的葬礼。初祭刚完，张廷玉又上表说要走。你想想看，还沉浸于丧子之痛中的乾隆皇帝，面对这么一个没心没肺的老东西，还能饶得了他？
不过乾隆皇帝的手段还是比较高明的，他下了一道谕旨，问张廷玉：“你自己说，你还配不配‘配享太庙’的荣誉？”这让张廷玉怎么说？张廷玉只好叩头免冠，说自己死罪，说自己不配。乾隆皇帝就顺水推舟，说既然你说不配，那就不给你了，你可以走了。
所以在乾隆十五年（1750年）春天，张廷玉回到安徽桐城老家的时候，什么都没有了，伯爵的名分没了，“配享太庙”的荣誉也没了。当地的地方官谁还敢接待他？大家都得避嫌，只有他的几个侄子把他接回了老宅。他“吱呀呀”推开大门，然后默坐半晌，从此就病了。
按说张廷玉被追夺了爵位，又被追夺了“配享太庙”的荣誉，落寞地回到了安徽老家，故事就应该结束了吧？没完。因为乾隆皇帝心里的恶气压根儿就没出来。
终于，机会来了。有一个叫朱荃的人，是张廷玉的儿女亲家，翰林学士出身，当时放了一任四川学政。放一任学政就是到一个省主持当地乡试之前的科考，很多想参加乡试的学生就会给他送拜师礼，这样就能揽一大笔银子回到京城。
清朝时，在京城当翰林是非常穷的，那几两银子的俸禄根本养不活家里，只能借债度日；怎么还债呢？就得跟债主、当铺说，将来我放一任学政就还你钱。
朱荃刚放了四川学政，就接到家报说老娘死了，于是他心里就纠结起来，到底是要银子还是回家奔丧呢？最后他做了一个决定：匿丧不报，直奔四川挣钱去。此事后来被人告发了，在当时的伦理环境中，做出这种事情的人就是禽兽不如，是典型的小人。
于是乾隆皇帝又来劲了，下了一道谕旨：张廷玉你和这样的小人结为姻亲，是什么意思？你“明白回奏”。
说实话，乾隆皇帝这道谕旨有点儿不讲理。张廷玉怎么知道他的亲家会做这种事呢？所以张廷玉写的回奏也特别有意思，他说我什么都不知道，我跟他结姻亲的时候，也是稀里糊涂的，要不是皇帝您点醒，我还不知道是怎么回事，现在才如梦方醒。就是说，我实在没招了，我就承认我老糊涂了，您爱怎么样就怎么样吧。
乾隆皇帝一想，张廷玉伯爵的身份没了，“配享太庙”的荣誉也没了，还要怎么惩罚他呢？这样吧，让他把我们家三代皇帝赏赐的所有东西，什么字画、小扇子等，都给我还回来。
