1953年文化部组织的欧美同学聚餐会上，林徽因冲动的指着时任北京市副市长吴晗说“你们真把古董给拆了，将来要后悔的！即使再把它恢复起来，充其量也只是假古董！”在这样的一种心境下，林徽因的病情急遽恶化，最后拒绝吃药救治，任凭梁思成和金岳霖怎么劝也是枉然。于1955年离世。
世间再无林徽因。然金岳霖依旧在爱。美人不再，情依旧。
林徽因英年早逝，金岳霖悲痛万分。经常一个人在办公室一坐就是一整天，有学生担忧他的身体，去办公室看望他。金岳霖静静地坐在椅子上不说话，目光呆滞。对进来的学生视而不见。后来突然自言自语:“林徽因走了！”一边说，一边就放声大哭，那样子伤心至极。一边的学生手足无措慌乱不已，也不知如何规劝。
林徽因去世的那年，建筑界正在批判“以梁思成为代表的唯美主义的复古主义建筑思想”，作为一个妻子以及工作上的好搭档，林徽因自然也是批判的对象。追悼会来的亲友不多，显得很冷清。人人都唯恐避之不及。
亲朋送来的众多挽联中，一副挽留激荡人心——上联是：“一身诗意千寻瀑”，下联是：“万古人间四月天”。此处的“四月天”，明眼人一看便知取自林徽因一首诗的题目《你是人间四月天》。这“四月天”在西方通常指艳日、丰硕与富饶。这副对联便出自金岳霖之手，赞美之意，溢于言表。
追悼会是在贤良寺开的，金岳霖看着相片里她的眉眼，很悲哀，他的眼泪就没有停止过。一个大男人哭到失声。周围的人都不上前去劝止，因为众人知晓纵是上前安慰也是枉然。还不如让他发泄完心头的伤悲。
林徽因的墓碑上写着：这里长眠着林徽因，她是建筑师、诗人和母亲。金岳霖时常回来到林徽因的墓前长久的发呆。想念逝去岁月她的一颦一笑，想念她笑起来嘴角不对称的酒窝，想念她又快又机智的说话方式。她是一朵带电的云。
金岳霖轻抚着墓碑，叹一口气说道“你呀……”然后就慢声慢气的跟她说着话。自林徽因走后，金岳霖就很木讷，极少说话。他的千言万语只说与她听，只有她能懂。在“文革”中被砸掉的“建筑师林徽因之墓”字样已于2003年被修复，但汉白玉的墓碑边上依然可以看到破损的痕迹。金岳霖坐在墓前默默不说话。
