他的崛起是典型的美国版本的“乞丐变富翁”的故事。卡内基的父亲在移民到美国之前是苏格兰一个手摇纺织机工人，卡内基13岁的时候举家移民到了匹兹堡。安德鲁干过许多种工作，但每种工作的时间都不长。他当过绕线轴的工人、薄记员、送电报的报童——就在干这份工作的时候，他通过看报务员们操作就学会了发电报。他很快就成了业内最受人喜欢的报务员，然后他就开了一家一人通讯社，为匹兹堡的多家报纸编辑每天的电报新闻。像对其他事情一样，他在自我提高方面对自己要求极为严格。他贪婪地阅读，努力地改进自己的发音和语法。一生中，他受母亲玛格丽特的影响非常大。像那些值得尊敬的穷人一样，玛格丽特身上也有那种强烈的阶级意识——对于自己的贫穷感到痛心羞愧，对那些没有雄心报负的劳动人民又极为蔑视——虽然他们自己也被迫属于他们。她的一生与安德鲁是无法分开的，直到她在快到51岁生日时去世。卡内基一家没有任何信仰，但是安德鲁却有着加尔文[20]教派信徒所有的对追求肉欲欢娱的强烈厌恶。他其实很有魅力，也与很多女人保持着友好的关系，但是很可能与她们都没有什么亲密接触；直到最后，在母亲去世几个月之后，他才娶了一个已经等候他多年、盼望与他结婚的年轻女人。
安德鲁的人生大转折发生在他17岁的时候，当时一个名叫汤姆·斯科特的人成了他事业上的英雄。斯科特是那个时代的一位伟大的铁路管理者。他出身贫寒，从10岁时就开始工作；他很快就喜欢上了安德鲁。当时，由于大量的火车运行在范围极为广泛的区域内，所以铁路非常依赖电报来进行联络。而斯科特当时刚刚被任命为宾夕法尼亚铁路西部分区的负责人，所以他是安德鲁所在的电报局的办公室里的常客。铁路上极大的电报业务量让他觉得有必要自己成立一个电报话务站，做出这一决定之后，他挑选的第一个话务员就是这个聪明而又勤快的小“安迪”[21]。
因为斯科特的工作很多都要通过电报来进行，所以他便和卡内基在同一个房间里办公。这样，通过经手的信息，卡内基几乎掌握了铁路上所有的主要业务。一天早上，在斯科特到达办公室之前，卡内基收到了一个消息，说一列火车发生了事故，造成铁路交通瘫痪。由于找不到斯科特——不知道他费了多大劲——卡内基便使用斯科特的“TAS”签名代替他发布了一系列的命令。当斯科特得知消息并且风风火火地赶到办公室的时候，所有的事情都已经恢复正常了。卡内基回忆说，他当时非常担心，害怕自己做得太过头了。但是，当他神情紧张地解释完他都做了哪些事情之后，斯科特只是表情奇怪地看着他；在核实铁路线确实已经恢复正常之后，就让这件事这么过去了。然而，就在那件事情之后不久，卡内基就高兴地听说，斯科特在外面吹嘘自己的办公室里有一个“小个子白头发的苏格兰聪明鬼”；而且，铁路上都已经知道了他，并且称他是“斯科特先生的安迪”。甚至有一天，连宾夕法尼亚州的州长也匆匆地走进斯科特的办公室，紧盯着卡内基看了一会儿，然后说：“你就是斯科特的安迪吧。”
如果卡内基继续在宾夕法尼亚州的职业，那么毫无疑问他将会成为那个时代一位伟大的铁路管理者。1859年，卡内基在“斯科特的安迪”这一职位上的任期结束了，因为斯科特升任铁路的副总裁，而卡内基也被他提拔担任了铁路西区的负责人。相对于他的年龄和经历来说，这是一个非同寻常的破格提拔，也是宾夕法尼亚西部铁路建成以来的一个特例。这条铁路修建得比较仓促，加再上地形艰难，所以常发生线路断裂和服务中断的事故。卡内基全身心地投入到了工作中。他在自己的家里建了一个电报站，日夜在铁路线上奔波，监督道路维修，调度交通，弥补系统的缺陷。凭着自己的直觉，他抓住了铁路运输的核心挑战，那就是保持交通畅通——铁路上很少有人能够弄明白这一点。就在他被提拔后不久，他就震惊了管理铁路的其他同事：为了保证铁路线的畅通，他烧毁了因出现故障而抛锚的车厢。这是典型的卡内基式的手段：只专注于一个目标，然后撇开挡在自己道路上的任何传统、竞争者或者是一般人，抄最近的道路去实现目标。从那之后，烧毁车厢就成了清理抛锚列车的标准方法。第二年，当斯科特被提升为负责铁路和电报服务的助理陆军部长时，他当然也带上了卡内基。几个星期之后，卡内基又一次展现了自己的天才，集合联邦军队参加了1860年伤亡惨重的第一次布尔河战役[22]。
19世纪60年代初，卡内基已经是一个富人了。在这个经常发生利益冲突的年代，斯科特谨慎地引导他投资于那些与宾夕法尼亚铁路做生意的公司，像一个卧车公司和一个修筑铁路桥梁的公司——这些公司通常都是先把购买款项支付给他。光是卧车投资一项就能给卡内基带来每年5000美元的股息，这是他在宾夕法尼亚铁路时的工资的两倍还多，而他支出的现金还不到450美元。较早前，卡内基还在一家名叫斯多利农场的油田投了资。这是宾夕法尼亚较早的、最具传奇色彩之一的石油钻井，卡内基在那儿的投资每一美元可以获得125美元的惊人回报。1863年，当他计算投资以缴纳新的战时收入税的时候，卡内基的总收入已经超过了4.2万美元，也就是说他持有的有价证券在50万美元左右，换成今天的钱，大概可能有六七百万美元。
