洛克菲勒似乎对自己早年漂泊不定的生活感到些许尴尬，因而不愿过多谈及那时的事情。根据他的说法，他们一家在斯特朗茨维尔住了一年之后，便搬到克利夫兰以南大约7英里的帕尔马，然后又搬进在克利夫兰城里购置的房子。事实是，他家在搬到帕尔马之前曾经在克利夫兰城内住过，而这一点可以被中学校长怀特博士的一段话证实：“1854年的一天，一个又瘦又高的学生来找我，说他守寡的母亲和两个妹妹要来克利夫兰住，请我能帮他们找一个临时住处。”热心肠的怀特先生于是邀请洛克菲勒一家搬过来和自己以及新婚妻子同住，约翰“同意了，而且在后来一直认为那是母亲度过的一段美好时光”。
比尔再度回家之后，把家人搬到了位于克利夫兰市中心佩里大街的一所房子里。这是他从O·J·霍奇先生那儿租来的。霍奇在多年之后依然记得约翰“是一个不好招摇的年轻人，没有同龄男孩子常见的那种闹腾劲。他常常安静地坐在长椅上听别人说话”。自从在里奇福德生活以来，比尔就很注意按时交房租。那一年还没结束，比尔又把家搬到了位于帕尔马的一座河边农场，而约翰又回到伍丁太太家借宿。
在一张拍摄于这一时期的照片上，洛克菲勒家的5个孩子没有一个人露出笑容，一片阴郁的神色。约翰又高又瘦，体重大概是140磅，浅棕色的头发梳理的非常整齐，衣着干净体面。他在年过古稀时曾打趣自己年轻时的那副严肃模样：“14岁到25岁的我可比现在的我要威严许多！”此言不谬。在斯特朗茨维尔和帕尔马定居期间，伊莱扎非常厌镇上随处可见的酒馆，想方设法不让孩子们接触不正经的娱乐活动。她肯定尤其担心长子，因为他快要到情窦初开的年龄了。有意思的是，约翰·D·洛克菲勒也表现出父亲那种喜欢和女佣调情的爱好。在斯特朗茨维尔时，伊莱扎雇了个帮手。这是一位名叫梅林达·米勒的农家姑娘，年轻漂亮，帮着做杂务并在这里吃饭。洛克菲勒一家搬到帕尔马之后，梅林达又来他家干活。比她小一岁的约翰经常在从克利夫兰回来之后与她一起散步，小镇上于是很快传出闲话，说约翰坏了那姑娘的贞操。不管真相究竟如何，米勒的父母对这段风流情事非常生气。这对缺少先见之明的父母不想让女儿跟着这么一个没出息的家伙过日子。据说梅琳达的父亲或母亲赶着马车把她接走了，切断她与约翰的联系。站在洛克菲勒的角度来看，幸好这段缘分破裂了，他才有机会找到一个在社会地位和智力学识上比梅琳达高出许多的女人，而且他也因此拥有了他所渴求的稳定家庭生活和宗教信心。
现在有必要简要回顾一下威廉·埃弗里·洛克菲勒在19世纪50年代初做的几件事情，因为他的表现已经开始从乖僻渐渐走向病态。这个有着多重伪装的人向来喜欢更换姓名。初到里奇福德时，他就哄骗一些人说自己姓洛克菲罗。在奥韦戈的那几年里，比尔偶尔光顾邻近的几个镇子，伪称自己是眼科和耳科医生威廉·利文斯顿。我们现在已经知道，他在举家迁往俄亥俄州时，他正过着一种既叫“威廉·A·洛克菲勒医生”又叫“威廉·利文斯顿医生”的双重生活。威廉·利文斯顿这个名字起初只是为了防止家人被他的不轨行为牵连。等到50年代初，它成了他在离家后固定使用的一个名字。比尔的合作人认为他使用这个化名是因为他正在无照行医，时常担心那些愤怒的本地医生惩罚他，事实上人家已经几度筹划把他送上法庭。
“魔鬼比尔”总是能找到美貌温顺又肯痴情等待他的女子。大约在1852年，他把家人留在奥韦戈，独自前往加拿大，并安大略省的诺威奇邂逅温柔可爱的少女玛格丽特·艾伦。比尔当时42岁，玛格丽特大约17岁，只比约翰·D·洛克菲勒大4岁。骗术高明的比尔很快就赢得了玛格丽特全家的信任。“他是个稳重平和的人，心地不错，爱交际，没有恶习，大家都喜欢他，”玛格丽特的姐姐如此形容这位受欢迎的求爱者，“他还是个有名的神枪手，喜好打猎，能讲有趣的故事。”1855年6月12日，他与玛格丽特·艾伦在纽约州的尼科斯成婚。这段重婚生活一直伴随着他走向人生的终点。
我们完全可以这样断定，比尔每次把家搬到另一个地方都与他正在追逐的某个女人有关。他之所以把家安在克利夫兰，就是因为安大略在伊利湖的对面。起初，比尔并没有和玛格丽特天天住在一起。他每年只去一次安大略，在她家里生活一段时间。此时的他并未打算抛弃原来的家庭，只是在发妻和新欢之间来回游走，让她们谁也不知道对方的存在。
比尔的第二次婚姻似乎对长子的生活产生了直接影响。约翰一直想上大学，伊莱扎也支持他在日后成为一名浸信会牧师。但是，父亲的来信使他的梦想破碎了。约翰后来回忆道：“父亲……的意思是我不能上（大学）。我一下子就觉得自己必须工作了，去找个活儿干。”洛克菲勒从来没有解释自己为何在1855年5月辍学，那时距离7月16日的毕业典礼仅有两个月。不过，比尔在6月12日的第二次结婚为这个谜团给出答案。正在筹备婚事的比尔肯定正在拼命减少前一个家庭的开支。约翰说：“家里还有年幼的弟妹要上学，只好由我去养家！”