听到人们称赞自己的儿子时，洛克菲勒总是坦率地说：“那都是他妈妈的教育成果。”塞蒂用她那种禁欲主义的方式教导孩子，希望他们养成自我克制的习惯。她自以为对孩子们的管教很温和，却不知自己有时显得专横。塞蒂的性格温和，但过于喜欢说教，有时甚至做得过了头。有一次，她对邻居说：“正好儿子告诉我想要什么样的圣诞礼物，现在他就别想得到这件东西了！”孝顺的小约翰总想博得母亲的欢心，并且继承了她对宗教的虔诚。“仁慈的上帝在赐给我几个可爱的女儿之后，又赐给我这个儿子，”塞蒂后来写道，“他年龄最小，却最有勇气、最独立、最有基督徒的品质。”她给儿子订下无数条清规戒律，禁止他跳方格舞，因为这种舞蹈让男女混杂，很不道德。“小圣人”在10岁的时候，就在长辈的要求下签名保证将来“不抽烟、不说脏话、不喝酒”。向他灌输道德教条的女性不止母亲，外祖母斯佩尔曼也一再让他参加儿童禁酒会。童年的生活就这样在小约翰的生活中埋下一个奇特的矛盾：一方面，父亲被公众视为商业大盗；另一方面，母亲却在不断向他灌输道德和宗教意识。于是，小约翰形成一种与父亲一样的世界观：正直的洛克菲勒家族不到遭到恶俗社会的攻击！
小约翰在一个以女性为主的环境里长成一个性格柔弱的男孩子，没有经历过兄弟之间那种粗野游戏和对女孩的戏弄。这样的生活经历使他变得有些女性化，穿姐姐们穿过的裙装，学习缝纫和编织，甚至还上过烹调班，仿佛有朝一日他得负责料理家务，亲自给自己做三明治。比他年长8岁的贝西很关心弟弟，但毕竟年龄差距太大。比较淘气的艾尔塔和伊迪丝才是小约翰的主要玩伴。一位客人回忆道，艾尔塔是“3个孩子里最能淘气和胡来的”，伊迪丝在高兴的时候“喜欢观察别人，在心里打自己的小算盘”。几个姐姐得到的关心不如弟弟多，她们反而享有更多的自由。艾尔塔就曾经取笑弟弟：“我们几个常常觉得约翰应该是个女孩，而我们当男孩子才对。”小约翰的确是母亲的最爱，因为他在几个孩子里与母亲最相像——讲究服从，责任感强，喜欢取悦别人。这个模范儿童将来还要努力成为一个模范成人，尽管他不得不忍受其中的种种痛苦。
洛克菲勒家搬到欧几里德大道后不久，伊利大街的浸信会教堂也迁到这里，并更名为欧几里德大道浸信会教堂。就当时的风气和出行方便而言，洛克菲勒家更适合到附近的圣保罗主教教堂做礼拜。每个星期日，都会有衣着雅致的夫妇走下自己的豪华马车，步入这间教堂。洛克菲勒一家却从欧几里德大道驱车到那座不起眼的小教堂，和中下阶层的教众们一同做礼拜。小约翰说：“去那儿的教徒没几家过好日子的。”洛克菲勒对于接触这些身份卑微的人并不感到有失颜面，因为他需要留住自己的根，需要在这种朴素而又充满真情的祈祷中得到精神滋养，也许还想表明自己并未被财富侵蚀。
欧几里德大道浸信会教堂往往被人们称作“洛克菲勒的教堂”，此话不无道理。到19世纪80年代初，教堂年度预算的一半都来自洛克菲勒。按照他的承诺，他的孩子们每周都向教堂捐款，但他规定“每个孩子的捐款都要依靠自己的劳动去挣，例如拔草”。洛克菲勒从不去夜总会和剧院之类的“邪恶”场所，教堂就是他在公众前露面的惟一机会，而且他每次都坐在第9排的座位上。爱凑热闹的人、专栏作家、乞丐、游手好闲都跑来围观。洛克菲勒一向对本地的慈善活动慷慨解囊，受其恩惠最多者包括独臂“兄弟”J?D?琼斯、专为流浪少年讲授《圣经》和生意技能的贫儿学校和克利夫兰水手教堂联合会。克利夫兰水手教堂联合会专门向酗酒的水手们宣传禁酒和基督教教义，洛克菲勒本人经常在午饭时来到这里，同那些海员们不分彼此地一起吃饭聊天。
宗教是洛克菲勒的精神支柱，是紧张的商业生活的必要补充。他有一次在称赞牧师的作用时说，他“每隔一两个星期就需要有好的布道辞给自己鼓鼓劲，就像给老钟表上弦一样”。他的一生没有出现过信仰危机，从未对年轻时接受的正统观念产生怀疑。他认为虔诚的人必须做善事，甚至在做祷告的时候，他的目光也在教堂里搜寻着。看到需要帮助的穷人，他便会从口袋里取出几个小信封，塞进一些钱，在信封上写下教堂召集人的名字，然后在与他们握手道别时悄悄把这些礼物塞过去。他和塞蒂坚持参加星期五晚上的祷告会。据说他们在克利夫兰生活的40年里几乎不曾缺席过一次。
