命运和巧合之间只是一线之隔。孩子的激情也许会带来终生的痴迷，也许只是暂时的兴趣。虽然这种激情并不比其他情感强烈，但事后再来看，人们常常会把它视为一种预兆。对科尼而言，一场比赛似乎就决定了他的终生。他后来回忆，当时自己仅有 6岁，与邻家小孩的奴隶骑马破浪而行，一决高低。如果不是他的竞争对手几十年后向公众证实这个故事的真实性，也许大家会认为它荒谬可笑。但真正的重点在于，科尼对自己幼年时期最早的回忆就是竞争和胜利，他正是从此开始树立起个人形象。
如果一个家里有几个孩子，那么爱好竞争也许是自然而然的事情。当然，他从来都不乏信心。手长腿长的他有着浓密的浅茶色头发、丰满的嘴唇、强劲有力的下巴、高高的前额和一双敏锐的眼睛，尖尖的长鼻子就像是船头。擅长游泳的他很快就长得身材高大，体格健壮，能干很多活儿。
农场生活常常会让孩童和成人之间的那条界限变得模糊不清。科尼的生活中有的只是工作和责任、锄地和挤奶、打桩和铲土。当然，他的生活中还有教堂，摩拉维亚教派的教堂。范德比尔特家族数代以前就已经脱离了荷兰归正会，改变了宗教信仰，并一直延续下来。但布道和圣歌并没有在科尼身上留下印记。他曾上过学，但据说只有短短的三个月时间。而在科尼的记忆里，那是一段痛苦的经历，完全是死记硬背、练习和惩罚。他虽然掌握了阅读技能，但却始终对英文的书写习惯不屑一顾。他 20岁出头时书写用的是蘸水笔，到现在墨迹已经褪去，纸张也已经发黄破碎。在现存不多的信函中，他对书写的“创新”达到了令人担忧的程度。 “see”（看）被写成 “sea”（海洋）甚至是“ se”，而且全文都是如此； “know”（知道）也变成了“ no”（不）；“wrote”（写过）则被写成了“ roat”。他的随心所欲与同一时代其他人的措辞严谨，形成了鲜明的对比，尽管那些人同样未接受过太多教育。
事实上，科尼完全按照发音来拼写，因此人们可以根据他的说话方式进行推断。他说话时的一些怪癖并不会太让人感到惊奇。例如，他会用“正回到家中”来指已经到家；谈到他人被禁止干某事时，他也不会使用被动语气。在科尼的谈话中会出现一些现在看来不同寻常或消失已久的发音，例如用“ ginerally”替代“ generally”，用“ air”替代“ are”，用“ wair”替代“ were”；他也常常用“ git”替代“ get”，用“ sence”替代“since”。他从来不会用 “remember”（回忆）这个词语，而是用 “recollect”（想起）取而代之。而且同纽约湾周边的许多人一样，他会在以 ing结尾的动词前加上“ a”，比如说“ Mr. Jones is agoing to Albany”。
11岁时，哥哥雅各布夭折了。在后来的岁月里，科尼和研究他的编年史作者几乎从未提到过这件事，但这确确实实影响了这个小男孩的一生。这个家庭早就已经失去了一个孩子，就是科尼的妹妹菲比，她很小时就夭折了；而雅各布离开时已经是青少年，毫无疑问，当时他已经是父亲最得力的助手，帮助父亲进行经营，协助父亲实现自己的野心。哥哥的过世给科尼带来了心理上的伤痛，也让他一下子从次子变为家里的长子。这也难怪他会早早地离开学校。
