爱因斯坦和奥本海默曾是高级研究所的同事，奥本海默1947年以来任高级研究所主任。他们俩都反对制造氢弹，在这个问题上爱因斯坦给予奥本海默全力支持。对于老朋友所遭受无辜的指控，他也坚定地站在奥本海默一边。在左派和自由派心目中，爱因斯坦是不折不扣的英雄。但在保守反共的右派眼中，他显然是个大反派。他们十分仇恨爱因斯坦，恨不能剥夺他的公民资格、将他驱逐出境。缭绕心头的知识分子可能受到迫害和公民自由表达意见的权利被否定的担忧让爱因斯坦十分痛苦。这位为科学和自由奋斗了一生的老科学家，对自己往昔在纳粹德国身受的不公待遇记忆犹新，不愿看到新一代的人们还继续遭受同样的苦难。
生命的最后几年中，爱因斯坦感到快乐的时候并不多。但是普林斯顿平静的生活依然给他带来快乐。他逐渐退出了各种公开活动。不过还是参加了1954年3月14日同行们为他举行的七十五岁生日庆典，还开玩笑地抱怨说蛋糕吃得太多了。他收到来自世界各地无数的贺信和生日礼物。其中一个礼物是一只鹦鹉，他给取名叫“巴波”，是通过平邮邮寄给他的。除了回生日贺信，爱因斯坦还花了好几个星期逗这只吓坏了的鹦鹉开心。其他时间，他就会同几个朋友到普林斯顿静谧的卡内基小湖玩帆船。保健医生禁止他吸烟。他不得不放弃这个长期嗜好，不过还是喜欢拿着烟斗，时不时叼在嘴里。他很久以前就停止拉小提琴了，因为这项活动对于他那个年纪的人已很是费力气，不过仍然喜欢坐在钢琴前弹上一曲或听收音机、磁带的音乐。他还要接待数量惊人的来客，一些外乡人甚至在半夜前来登门拜访。
爱因斯坦在爱尔莎去世之后一直独身近二十年。在这期间，许多妇女给他写信介绍自己的特点和家政技能，自告奋勇要成为他的妻子。另外一些人甚至在他家附近守候着，寻机当面向他吐露衷肠。他常常会回报这些好意。玛格丽特·科尔尼科娃，据称是爱因斯坦在美国“最喜欢的女朋友之一”。她丈夫是著名的雕塑家，为爱因斯坦造了一尊半身像，现在收藏在普林斯敦高级研究所的图书馆。有谣传称玛格丽特是苏联间谍。她和丈夫都是苏联的政治流亡者，居住在纽约的格林威治镇，离普林斯顿大约一个小时的路程。在20世纪20年代初期到1945年期间，他们被苏联征召回国培训成为间谍。看来爱因斯坦并不知道她可能是间谍的底细。不过，即使她真是间谍，也从他那儿获得不了苏联所需的机密信息。科尔尼科娃离开后，爱因斯坦又结识了约翰娜·凡托娃。他们在布拉格时就见过面，在普林斯顿重逢并成为关系亲密的邻居。她成为爱因斯坦去世前一直保持联系的女友。她甚至还保留着他去世前一年半时间里两人进行电话交谈的记录本。从电话记录的内容看，爱因斯坦仍然谈论他一直感兴趣的话题。考虑到他的健康问题，人们能想到在他那个年纪会谈论些什么。
1954年10月，爱因斯坦写了一封著名的信。在信中称如果他能够再活一次不会选择成为科学家，更愿意成为管道工或小贩，“希望在那种情况下还能找到适度的独立思考的能力”。这番话并不是说要放弃物理学研究，而是说他因此可以专心研究物理学，而不受作为研究者或学术界人士所必须忍受的各种琐事的拘束。也许他怀念在伯尔尼专利局的日子，那时他还没出名，拥有更多的自由、才华和时间，可以创造性地思考任何吸引他的题目和想法。
1955年初，英国哲学家、作家贝特朗·罗素与爱因斯坦联系，请求爱因斯坦以及其他科学家与他一起发表一份联合声明，反对世界上愈演愈烈的军备竞赛。罗素是一位知名的和平主义者，曾获得1950年的诺贝尔和平奖。他起草了一份文件谴责冷战可能导致核战争，同时希望把这份声明提交给美国国会以传达国际社会对美苏军备竞赛的声音。声明指出，在氢弹已引爆的时代，战争不会有胜利者和失败者之分，只有给人们带来永久的灾难。另外，他们在声明中请求美国国会不要引起人类间的自相残杀。罗素将这份声明寄给爱因斯坦。爱因斯坦于４月11日在声明上签字，并将它寄回给罗素。这份著名的声明被后人称为《罗素－爱因斯坦宣言》，其他九位科学家也在上面签下了自己的名字，全世界成千上万的人则在这份声明上背书表示支持。
就在忙于签署宣言那几天，爱因斯坦开始感到身体十分难受，感觉下腹部疼痛难忍。他让私人秘书海伦·杜卡斯不要给他的医生打电话。但由于十分担心他身体状况，杜卡斯偷偷地将爱因斯坦的病情告诉正在医院住院的继女玛戈特，让她转告爱因斯坦的保健医生迪恩。4月13日下午，爱因斯坦已休克，杜卡斯别无选择，马上给医生打电话。医生很快到达，并给他注射了一针吗啡止痛。但是很不情愿将爱因斯坦转入医院，因为他认为可能是小规模内出血导致疼痛，很快就会没事。第二天，更多的医学专家来到家中为他诊断病情。但他对他们的来到很是反感，尽管尽量保持克制，还是强烈希望他们离开让他一个人待着。所有的医生和亲属，包括爱因斯坦自己都知道他腹部的动脉瘤已破裂，死亡正向这个科学天才慢慢逼近。他只是问医生，这样的死亡是否会“很可怕”。他们回答说不知道情况会怎样。海伦·杜卡斯则对爱因斯坦突如其来的病痛乱了方寸，十分担忧和伤心。爱因斯坦责备她说：“你真是太可笑了。我总是会死去的，什么时候死无关紧要。”接下来的两天，他的情况变得更糟糕了。医生坚持让他住进普林斯顿医院，这样就可以在那儿输液并由护士定期注射吗啡止疼，院方会尽力让他不受太多痛苦。
1955年４月17日晚上，爱因斯坦安静地入睡了。刚过午夜不久，他在睡梦中安详地离开了这个被他大大地改变了的世界。夜班护士埃尔贝塔·罗西尔是最后看到他还活着的人。她报告说：“他使劲呼吸了两下，然后便停止了呼吸。”爱因斯坦的继女玛戈特在给家里的一个朋友的信中描述了他最后的几个小时，写道：“他在等待着最后时刻的到来，就像在等待着慢慢来临的自然事件一样。面对死亡，他显得很安静，就像他一如既往的无畏，是那样不动声色地、毫无遗憾地离开这个世界。”
