小沃森之“公天下”
在IBM最高位上工作了十几年之后，1970年，小沃森心脏病发作。1971年他从董事长和CEO职位上退下来，交班给曾经负责S/360研发的文森特·利尔森（当时他已是总裁）。
作为沃森家族第二代掌门人，小沃森没有像父亲一样将IBM的大权交给自己的家人，而是交给了外姓人。他为了完成父亲的遗愿——让他的弟弟阿瑟成为他的接班人，曾经尝试把阿瑟放在继承的人选中，在S/360项目中把阿瑟从IBM世界贸易公司调回总部，负责S/360的开发并把原来的负责人利尔森调往负责S/360的全盘销售，但事与愿违，事实证明阿瑟无法驾驭这个复杂的研发计划。小沃森不得已又把利尔森调回，并把阿瑟放在一个无关紧要的总部幕僚长岗位上。小沃森后来承认，虽然S/360获得空前的商业成功，他对无法完成父亲心愿和伤害了他的弟弟深感不安。小沃森在清楚地认识到自己的弟弟不是合适的接班人选之后，没有为了家族的传承而牺牲IBM的利益。他的职业经理人素养让他在IBM和他的弟弟之间，选择了以IBM的利益为决定接班人的唯一条件。
小沃森的继任者利尔森基本上是一位过渡性的领导。在小沃森的弟弟阿瑟失去成为CEO的机会后，小沃森本来看上了弗兰克·克里（Frank Cary）。原因是在老沃森退休以后，小沃森定下了规矩，CEO必须在60岁退休。按照原先的计划，当他自己在正常年龄退休时，利尔森也已经退休（他比小沃森年长一点），而克里的年龄可以让他带领IBM七八年。然而，当小沃森决定于1971年提前退休时，利尔森还有一年半才到退休年龄。于是，他作为小沃森身边功劳最高的员工，当上了IBM历史上最短的CEO，在位上工作了只有一年半。他的时间虽短，却充分反映出IBM用人为能的精神，让其他员工佩服小沃森的大度。
小沃森退休之后曾经在1979—1981年出任美国驻苏联大使。他的弟弟阿瑟·沃森于1970年辞去IBM副董事长和IBM世界贸易公司董事长职务，担任美国驻法国大使。1970年他离任时，IBM世界贸易公司从1949年成立时的不到5 000万美元收入增长到超过25亿美元，与美国本土收入持平（老沃森曾说过有一天海外业务会比美国本土大），海外运营从49国增长到108国。有意思的是，兄弟两人离任后都从商人变成了外交官，践行了他们父亲“世界贸易促进世界和平”的格言。
从利尔森之后至今，IBM又经历了五任CEO，他们分别是1973年接替利尔森出任CEO的弗兰克·克里，他在任内促成了IBM PC的出现，退休时IBM的收入差不多是小沃森时的四倍。1981年克里交班给了约翰·欧佩尔（John Opel），后者领导IBM直到1985年。仗着前人耕种的成果，欧佩尔时代的IBM也是IBM最如日中天的时候。欧佩尔之后的CEO是约翰·埃克斯（John Akers）、郭士纳和现任CEO彭明盛。这些人中，除了那位传奇的郭士纳以外，其他都是IBM内部培养的表现出色的人才。可以说，老沃森把IBM变成了“家天下”，而小沃森又把它变回“公天下”。小沃森清楚地知道IBM需要怎样的人才才能“延续香火”。“任人唯能”成为选拔接班人的唯一标准，IBM因此也避免了家族企业常常遇到的“富不过三代”的宿命。小沃森在任时，已经有数十年历史的IBM像一家新兴企业般快速成长。小沃森对于IBM的贡献绝不逊于其父，他也被《财富》杂志称为“历史上最伟大的资本家”。
