约翰的行为恰恰与父亲相反，他是年轻人里最冷静、最勤勉的那种人——上学时非常勤奋，对待自己的浸礼会[24]信仰也非常严肃，谨慎而又诚实，完全可以信赖。他成年以后的生活也同样比较传统，至少在商业以外是如此。他年纪不大就结了婚，与妻子和孩子们的关系也都很亲密。晚年，他还努力阻止他们的生活因为他的巨额财富而完全扭曲。与大多数同时代的年轻人相比，约翰受的教育要更好一些。1855年，他16岁的时候开始工作，给一个农产品商人当助理会计。而在此之前，他已经上完了高中，而且还学了一些商业方面的课程。两年之后，他从父亲那里借了1000美元，作为资金加入了另外一个名叫莫里斯·克拉克的商人开的公司。克拉克是一个喜爱交际的英国人，比洛克菲勒大10岁左右。20岁的时候，约翰已经是克里夫兰公认的、杰出的年轻商人了——诚实、可靠，对商品市场有着敏锐的感觉。然而，在约翰20多岁期间真正有着象征意义的事件是埃德温·德雷克上校在位于宾夕法尼亚州的“油溪”地区的蒂图斯维尔[25]附近成功地打了一个钻井并生产出了大量的“石油”[26]；而“油溪”一词也是根据能看得见的、渗出的表层石油而得名。
德雷克当时得到了专业的投资商的支持。这些投资商事先已经进行了科学研究，发现宾夕法尼亚的石油如果能够达到商业开采数量的话，就可以成为当时世界上急需的高级照明用油和润滑油。德雷克的进展断断续续，但一直受到密切的关注。当他的油井最终汩汩地冒出大量石油的时候，整个地区都发狂了。一个当地的伐木工人飞奔到了山谷并买下了所有愿意出售的农民的土地；然后，几乎在一夜之间，他就变成了百万富翁。投机商们也蜂拥而入，立即在这一地区面积多达几百平方英里的土地上开始打井采油。在德雷克打出石油之后的1860年，从油溪运出的原油估计在20万到50万桶之间；而在1861年，这一数字达到了200万桶，其中有大约27.5万桶被卖到了国际市场上。（一只宾夕法尼亚油桶的容量为42加仑，今天仍使用这一标准）。这些石油产品的70％都被用于照明。
作为商人，克拉克和洛克菲勒原本早就会与他们的客户做石油生意，而且他们也肯定有盈利的概念；但是，他们真正涉足石油领域却是在德雷克打井出油的两年之后。让他们有此想法的是克拉克的一个朋友，一个自学成才的化学家，名叫萨姆·安德鲁斯。安德鲁斯在炼油方面有一些经验，他建议克拉克和洛克菲勒资助他开办一个炼油厂。最后，二人同意资助4000美元，而约翰认为这已经是“很大”一笔钱了。虽然洛克菲勒明显也出了与克拉克相同数量的钱，但是新的公司却是以安德鲁斯和克拉克的名义成立的。在22岁的时候，约翰仍然被认为是一个资历较浅的合伙人，是用来凑数的伙伴。
安德鲁斯和克拉克为他们的炼油厂起名为“益精炼油厂”，他们的生意从一开始就非常好。洛克菲勒为工厂选定了地址，使它尽最大可能便于铁路和水路交通。他逐渐着迷于石油带来的机会，便接手管理日常的业务运营，而安德鲁斯则负责经营炼油厂。安德鲁斯是一个出色的炼油家，他的产品很快就赢得了很高的声誉；最为重要的是，他感觉到虽然约翰年龄不大，但应当能够让他们的业务获得大发展。对于洛克菲勒来说，这是第一次能够展示他把大力扩张和注重效益与成本相结合的非凡能力的好机会。不到两年，益精炼油厂炼出的油品产量就达到了每天500桶。当然，按照几年之后的标准来衡量，这一产量是不足为道的，但在1865年，这一产量却使益精炼油厂成了美国最大的炼油厂之一；而且，在克里夫兰，它的产量能顶得上任何炼油厂产量的两倍。在洛克菲勒的管理下，它也是盈利能力最持久的炼油厂。
问题在于克拉克·莫里斯把他的两个兄弟也吸收进了公司，担任采购和销售员。其中一个叫詹姆斯，以前是个职业拳击手，而且恃强凌弱。几乎从一开始，他就与洛克菲勒发生了冲突。更糟糕的是，洛克菲勒不信任他。詹姆斯喜欢做危险的私下交易，而且虚报开支，还到处吹牛欺骗客户。同时，莫里斯对洛克菲勒贷款经营的胃口感到担心，开始采取强硬态度反对继续扩张。随着磨擦的加剧，克拉克兄弟常常威胁要解除合作。有一次，洛克菲勒狡诈地问他们是否真的想解除合作，他们给出了肯定的回答。令他们震惊的是，他们在当地第二天的报纸上看到了一则公司解散的通知。同样令他们震惊的是，他们发现安德鲁斯竟然和洛克菲勒联合起来了。之后，在他们同意通过拍卖来解决炼油厂的所有权时，他们再次震惊地发现，当时只有25岁的洛克菲勒竟然沉着地开出了比他们还高的竞价。1865年3月2日，就在内战结束前几星期，这次拍卖成交了。
