当赫尔曼在慕尼黑开始新商业尝试时，保利娜也在这个城市一间租来的房子里建立了他们的新家，和孩子们一起充满希望地等待着他们家族生意能够兴旺发达。这次赫尔曼似乎从往日的失败中汲取了教训，他的新工场顺利开张并且很快兴旺起来。不到五年，爱因斯坦一家告别租来的房子搬到一个位于城郊的更宽敞的家中。同时，家庭新成员的到来让他们很快便有了一个四口之家。1881年11月，在他们搬到新家一年半以后，爱因斯坦的妹妹玛雅降生了。关于妹妹降生，有一则趣闻。父母告诉他从此有新玩伴可以一起玩耍了，当时年仅两岁半的爱因斯坦看到父母抱来新生的小妹妹时失望地问道：“她就是我的新玩具吗？它的轮子在哪儿呢，没轮子我怎么玩啊？”
从爱因斯坦幼年的成长历程上看，他早年的智力发展并未预示出未来的天才，反而显得有点令人担心。比如，他学说话的年纪很晚，直到妹妹玛雅出生前后才开始呀学语。好像是为了补偿失去的时间似的，他一开始便试图说完整的长句子。但是他在大声说出整句之前总要先低声默念一遍，这种状况持续了好几年才终于恢复了自然的说话方式。因此，人们总是觉得这个小孩似乎说每一句话总要重复两遍，先用很低的声音念第一遍，然后第二遍才正常出声。据一些医生的纪录，可以发现爱因斯坦直到十岁左右说话才变得流利起来，从现在的观点看他可能患某种形式的少儿诵读困难症。在爱因斯坦后来的岁月中，他自己也承认一直以来对单词的记性并不好。实际上，他在接受一个采访时对来访的心理学家说：“我极少完全通过词句来思考。一个想法首先浮现在脑海，之后我才可能试图用词句把它表达出来。”可以推测，这些童年的经历养成了他的思维习惯，也许这是为什么他后来得以因其创造性的“思维试验”而闻名于世的早期原因。
小爱因斯坦习惯于自己独自玩耍，常常一个人沉浸在搭积木和解字谜的自娱自乐中。小时候的他脾气并不温顺。据家人描述，他生气时整张脸除了鼻尖转为白色外，其余部分均变为黄色，且可能会失去自我控制。有一次发脾气时把气撒在家里请来的小提琴老师身上，举起一把椅子就朝她砸去，另外一次则用泥铲和九柱游戏用的小球敲打跟他一起玩的妹妹玛雅的头部（基督教早期，德国僧侣曾用一种德语中叫Kegel的棍棒来防身自卫。在游戏中，Kegel代表一种罪恶或名声，僧侣们会朝这些棍棒扔石头直至它们被打翻。今天的德国游戏Kegelen中设有九条细小的保龄栓和一个球）。
另一方面，玛雅在关于其兄长的相关传记中提及，爱因斯坦会花上好几个钟头耐心地用积木建造超过14层高的积木房子，那时，他绝对全神贯注，任何事都无法阻止他。对父母或其他人给的新玩意儿，小爱因斯坦总是十分珍惜，玩的时候小心翼翼，而且总是锲而不舍地耐心学习如何使用这些东西。爱因斯坦成名后声称自己并不如别人聪明，只是比别人更好奇一些；还说他天生的孩童的好奇心一直持续到成年以后。他在给同事的一封信中写道：“我……成长得很慢，直到成年以后才开始试图探索空间和时间的问题。然后，我比成年人更深入、持久地钻研了这个问题。”他希望通过自己的例子说明通常是小孩而非大人会去思考这类显而易见、司空见惯但蕴含着深刻内涵的日常现象。正是在这些许多人视而不见的日常现象中，爱因斯坦完成了划时代的发现。
关于爱因斯坦童年时期表现出来的一些怪癖的行为，有学者声称可能是孤独症的症状。如英国剑桥大学长期研究孤独症治疗的一位教授最近声称爱因斯坦孩童及晚年时期的一些反常行为可能是孤独症的症状，不过尚属轻微程度，还未对行为产生太大影响。然而这些一家之言不必太当真。翻开人类有史以来的记载，围绕伟大人物的神话和轶事层出不穷，其中许多试图解释伟人之所以睿智或作战勇敢的原因。这些猜测性解释中有些可能是正确的，更有可能是错误的。从关于爱因斯坦的真实史料记载看来，即所谓爱因斯坦患有精神疾病的可能性很小。关于爱因斯坦的民间说法中，他的一些行为确实可能符合孤独症某些症状，如他社交能力低下而笨拙，写作能力低下，沉默寡言，有名的蹩脚演讲者。但这些均不是事实，而仅仅是持此论者的猜测或歪曲。恰好相反，从史料得出的事实表明，爱因斯坦朋友遍天下，而且许多人是终身不渝的好朋友；他写的文章在阿劳中学时给考官留下了很深刻的印象；而他的演讲词中不乏精彩之篇。
