事实上，科尼的童年没有留下太多的记录。大家所知道的只是一种海市蜃楼、漂浮在现实之上的模糊影像。它们源自那个男孩长大成人之后不断重述的一些故事，频繁的重述让人们脑海中的人物形象得到强化，而崇拜者又对那些故事加以渲染和粉饰。模糊不清的印象、遥远的年代以及不断的重述，这些不仅让人无法准确把握其真实的形象，也对其意图产生质疑。
根据这种“海市蜃楼”，早在 1805年，即托马斯·杰斐逊担任总统期间，这个 11岁的男孩就开始和父亲在帆驳船上并肩作战。他替代了已过世的哥哥的位置，学会了如何把舵、扬帆，以及抢风调向。他很快就上手了，面对风暴无所畏惧，得心应手地驾驶船只乘风破浪。据说有一天早晨，这个男孩终于等到了自己期望已久的日子。父亲曾经承诺，如果他能给马铃薯地除草（这是一项特别累人的工作），就会给他奖励：他可以和朋友欧文一起搭乘帆驳船去纽约，并在那里玩上一天。科尼叫上欧文，两人奔向海岸，父亲站在那里等他们。父亲的身旁堆放着一堆干草，有人请他把这些干草送到纽约城去。他记得父亲当时说：“科尼，现在帆驳船就交给你了。多半干草已经装上船了，剩下的由你和欧文来完成。跟平常一样将它们运到对岸，路上你们可以一起玩儿。”他丢给儿子几美分，然后就让他开始干活儿。范德比尔特后来抱怨说：“孩子们几乎在任何事情上都能找到乐趣，我们当时也非常开心；但我还记得，那天晚上我和平时工作一天后一样疲劳。 ”
但这个故事究竟蕴涵何种意义？是说明这个 11岁的男孩值得信任，能托付他将货物运送到海对面几公里之外的那座美国目前最大的城市，还是说明他憎恨父亲控制了自己的生活？或许两者兼而有之。也正是这些原因导致有关这个故事的记忆在科尼的脑海中一直未曾磨灭。但我们在两个世纪之后再来看这个故事，它似乎证实，靠近纽约的确对整个家庭带来了影响，让他们的生活围着商业打转，甚至连小男孩都有机会去赚钱。但这个故事并不适合于那些距离城市更远的美国农村地区。
“海市蜃楼”到这还没有消失。据说第二年，科尼的父亲争取到一个合同，为一艘搁浅在桑迪胡克（Sandy Hook）沙滩的轮船运送货物。桑迪胡克是一个风景优美的沙洲，从新泽西州一直延伸到史坦顿岛。为了完成这项工作，科尼利厄斯召集了部分工人、三架四轮马车，还有几艘小舟。他让儿子来负责调遣那些四轮马车。在货物从搁浅的轮船上卸下来后，这些马车将拉着货物穿过沙洲，运送到另一边的小舟上。科尼利厄斯带着平底驳船离开后，将科尼留了下来，让他带领四轮马车和车夫一起，长途跋涉到位于南安博伊（South Amboy）的渡口。当这个男孩和队伍到达目的地的时候，他身上所有的钱都已经花在了食物和饲料上，可是摆渡人要求他必须支付 6美元才肯摆渡。科尼脑子一转，来到小客栈向老板借钱。他同意将自己的一匹马押在客栈，并且承诺在 24小时内带着现金赎回那匹马。客栈老板同意了他的要求。队伍顺利摆渡，男孩也很快返回，如期归还了向客栈老板所借的钱。
后来，这个故事成为科尼足智多谋的典范。如果这个故事是真实的 ,它同样也蕴涵着一些重要的内容。一方面，他的家庭让他充分接触到了商业，所以 12岁的他早早就懂得了抵押物品借钱的方法；而且抢救遇难船只的事情也进一步说明了纽约港对他们生活的决定性影响。
另一方面，摆渡人自行定价的能力肯定也给科尼留下了深刻的印象。作为岛上的居民，科尼必定能感受到自身的力量。与曼哈顿和美国大陆隔海相望的生活让他培养了一种空间感，懂得了跨海的重要意义，也明白了往返海岸之间的船只的战略重要性。这些早期的认知让他受益终生。
