希特勒的外交政策和国内建设计划在1936年3月29日的德国全民公投中以令人吃惊的98.8%的高票通过。他在欧洲的影响日益增长，许多亲纳粹的团体急切想让他们国家成为希特勒极力扩张的纳粹第三帝国的一部分。希特勒还公开宣称，将恢复德国在一战后失落的力量和威信。许多国家和自治领由于深受席卷世界的经济大萧条的影响，很容易成为希特勒鼓吹的第三帝国的吞并目标。但不是所有国家都急切希望加入纳粹集团。奥地利和德国曾订立条约，该国政治家乐观地认为奥地利将继续保持独立国家的地位，但这种幻想很快就破灭了，两年以后奥地利就遭到德国吞并。随着希特勒的兴起，欧洲的其他独裁者也顺着这股逆流登上统治地位，如纳粹分子西班牙的弗朗哥，意大利的墨索里尼和葡萄牙的萨拉查和社会主义者苏联的斯大林都是在这时候开始掌权。
在普林斯顿，爱因斯坦为世界各地传来的坏消息忧虑得坐立不安。他对美国国内政治的批评少了，但是继续表达他关于战争与和平的立场，倡导美国参战保卫欧洲和人类文明。他声称，为达成国际合作，单个国家牺牲部分国家主权是完全值得的，人们应该从国际角度思考问题。他还说，为了避免人类同归于尽，必须杜绝侵略行为。他坚持认为通过世界范围的教育运动，增强国与国之间的相互理解，并尊重各国不同的文化和需求，人类是能够废除战争的。他在各个学校的演讲中大力提倡开明的学校教育。1936年，在参加庆祝高等教育在美国开展三百周年庆典时，爱因斯坦在纽约州立大学阿尔巴马分校的演讲中强调，教育的目的在于培养出能够独立思考的个体，他们对生活的更高追求应该有益于其所在的社会。他敦促学校决策者不要用恐吓、强迫和人为的权威来教育学生——这些恶劣的教育方式他少年时期在德国读书时深受其害，简单粗暴的教育方式成为他一生最深恶痛绝的东西之一。
令人非常遗憾，当爱因斯坦一家逐渐在美国安顿下来，爱尔莎却没能继续陪伴爱因斯坦享受普林斯顿的新房子和新家具以及她花了好大力气精心装修的家。她1936年开始换上了严重的肾病，在接下来整整一年中都痛苦不堪。这一年中，她到过纽约北部边远地区的一个湖泊住了一段时间。自从两年前大女儿艾尔丝不幸去世，爱尔莎悲伤过度，身体一下就垮了，从此健康开始走下坡路，再也没有恢复过来。圣诞节前夕，爱尔莎在痛苦中去世，时年六十岁。不过痛失伴侣的爱因斯坦在家里并不孤单，继女玛戈特与丈夫已离婚，回到母亲和继父家居住，还有私人秘书杜卡斯也住在他家，三年后妹妹玛雅从欧洲来到美国陪伴哥哥。此外爱因斯坦让自己专注于工作，这使得他不会感到孤单寂寞。爱因斯坦说，爱尔莎去世后，他的生活更封闭，过着“熊一样的生活”，整天待在洞穴里与世隔绝，爱尔莎再也不会像以前那样陪伴着他进行一些社交活动。“她比我更喜欢和人交往，”他说。
这年，汉斯获得父母的母校苏黎世联邦技术大学的博士学位。第二年，他到美国看望刚刚失去爱尔莎的父亲。1938年，他辞去在瑞士的工作，也举家搬到美国，并在美国农业部找到一份工作。不过他们并没有同父亲和姑姑住在一起，而是领着妻子和孩子定居美国北卡罗来纳州东部城市格林维尔。刚搬到美国那年不久，悲剧再次降临爱因斯坦的家庭，爱因斯坦的小孙子、汉斯和弗里达年近六岁的小儿子克劳斯突然夭折，可能是因为白喉。得知这个不幸的消息后，爱因斯坦给汉斯夫妇写信道：“作为父母最痛苦的事降临到你们身上……虽然我跟克劳斯在一起只有很短的时间，但他跟我是那么亲，对我来说仿佛在我的身边已长大成人了似的”。克劳斯死后，伯纳德成为他们的惟一的小孩，汉斯夫妇1941年收养了一个小女孩取名伊芙琳。他们在格林维尔住了好几年，1947年汉斯成为加州理工大学伯克利分校的一名水利工程学教授。1958年，汉斯的妻子弗里达去世后，他与伊丽莎白·罗伯茨结婚。汉斯·艾尔伯特1973年逝世于马萨诸塞州的伍兹豪尔。
虽然爱因斯坦仍然作演讲，接受采访，并与物理学界的朋友们和世界各地的学者保持相当多的通信联络，但他已不再是活跃在研究一线的科学家。他发表的成果大幅减少，爱尔莎去世的第二年，即1937年一年只发表了一篇科学论文，而且还是与一位年轻的合作者内森·罗森合作发表。实际上，由于年龄增长导致科研能力的下降，他晚期的科学工作大部分是与年轻的合作者一起完成的。例如1935年与波多尔斯基和罗森合作发表的一篇著名的文章，现在称为爱因斯坦－波多尔斯基－罗森（三人名字的首字母“EPR”）佯缪的论文。他们三位高级研究所的物理学家将爱因斯坦对量子理论的批评公之于众。三位科学家在论文中提出，量子力学并没有提供对物理学现象完整的描述，因此是一个不完整的理论。这篇文章后来在物理学家中引起了很大争论，特别是1964年约翰·贝尔的著作更是将这场辩论引向深入。（见第十二章详细内容）
除了科学之外，人们对爱因斯坦英语能力的看法是很一致的。定居在美国以后，他能听懂英语也能够用英语看书，但他的年纪已达中年，要想学会说还是很困难的，所以他的英语口语一直很糟糕，经常在信中向朋友们抱怨自己学说英语的巨大困难。他能够写和说一些简单的英语句子，也能读一些准备好的英语演讲稿，但如果是时间较长的讨论或对话，一般就会使用德语。他大部分的信件和全部的论文都是先用德文写下来，然后再由秘书海伦·杜卡斯或同事翻译成英语。
爱因斯坦继续帮助从德国逃离到美国寻求庇护的难民。他帮助这些人寻找赞助人或工作机会，并在必要时给予他们经济上的帮助，甚至仅因为被一些人无法证实的悲惨遭遇所打动而向素不相识的陌生人提供援手。1938年，德国终于如愿吞并奥地利，这导致了大批奥地利难民逃难到美国。爱因斯坦没有能力满足越来越多的求助，美国当时也正处于经济大萧条中，失业率很高，工作机会也不多，实际上他意识到自己其实也是日益增长的在美犹太难民的一分子，当时很多犹太人学者都逃到了美国。除了这些学者，跟他关系密切的朋友也包括一些受过教育但非学术界的人，如内科医生、艺术家和作家等，他喜欢和他们一起讨论非物理学的一些话题。
在政治方面，罗斯福总统已感觉到欧洲将有一场大动乱，便向德国和意大利发出礼节性的请求，希望妥善处理他们国内的问题，但他的好言相劝收效甚微。到了当年下半年，即1938年11月9日晚，纳粹头子、希特勒的“宣传和民意启蒙首领”戈培尔发起“打破玻璃杯之夜”（Nightofbrokenglass），开始臭名昭著针对犹太人的屠杀计划。这个罪恶的晚上，德国狂暴的歹徒们和新加入的帮凶肆无忌惮地攻击大街上的犹太人，冲进犹太人的家和工作的地方，闯入犹太教堂大开杀戒，这一晚大约有一百名犹太人被杀，数百名受伤，七千五百多家犹太人商铺被毁，还有数十家犹太教堂被放火焚烧，同时逮捕了三万多名犹太人送到集中营里。德国人认为这些事件是自发的，并非由政府组织的，犹太人应该自己为这个晚上的损失负责。纳粹当局抓住这个事件的机会通过法令，将犹太人在德国的商业领域清除出去，并将犹太人的商业“雅利安化”，即由正统的德国人接手。希特勒命令称，对“犹太人问题”开始进行清算，并将被最终解决。这一晚在历史上被认为是德国纳粹对犹太人大屠杀的开始。
就在德国犹太人陷入灭顶之灾之时，美国飞行家、医学实验室管理员查尔斯·林德伯格从赫尔曼·戈林手中接受德国荣誉勋章，这一授勋仪式引起了美国人的愤怒。1933年希特勒被任命为德国总理后，戈林就一直是德国秘密警察盖世太保的头子。另外两个高级纳粹官员，即纳粹党卫军头子海因里希·希姆莱和另外一个党卫军负责人雷纳德·海德里希和戈林一起负责关押政治反对派的集中营的早期修建活动。第二年，林德伯格再次激怒了美国政府，他强烈批评了罗斯福的政策，总统很快做出反应，谴责了林德伯格的挑衅。林德伯格在美国的家离爱因斯坦的家不出几英里，这个飞行家始终没有交出纳粹授予他的奖牌。
