一切看起来顺风顺水，过了几年备受追捧的军旅生活，林毅夫的内心却怎么也平静不下来。早在台大读书期间，他就熟读鸦片战争后中国遭受列强欺侮的历史，思索如何尽快使国家富强起来。而在此前后发生的一些历史事件，包括联合国席位之争、保钓运动、尼克松访华、中日邦交正常化、中美建交等，无一不触动他更深的思考。
1979年的台湾，经济发展水平远高于大陆，长期的戒严却并未解除。通过报刊、广播，林毅夫了解到，大陆刚刚结束了“文革”，处在一个全新的历史关头。他意识到：如果继续待在军中，自己可能只会作为一个典型罢了，他对升官没有期望；中国富强的希望在大陆一边，要为国家作出贡献，就必须去大陆。
1979年5月16日夜，林毅夫纵身跃入海中，向大陆厦门方向游去。这是一次生死抉择，在海水中泅渡两千多米首先就需要超凡的勇气和体力。这些林毅夫都不缺少。至于外界传说，他是抱着两只篮球游到大陆，也被证实是子虚乌有。
那一夜，金门全岛驻军紧急大搜索，同时为防泄露军机，立即修订作战计划。两天过去，搜索毫无收获，大陆方面也没有任何消息。为了避免这位模范青年军官的神秘失踪在军中引起更大骚动，金门防卫司令部草草完成调查，以“失踪”结案。
师从大师舒尔茨
回归大陆，林毅夫不愿再次成为宣传样板，只想沉下来好好做事。他推崇曾子所说的“士不可不弘毅，任重而道远”，遂改名林毅夫。
几经辗转，林毅夫来到北京大学，攻读经济学研究生。至今，他还对北大能够接收他这样一个“来历不明”的学生心存感激。
1980年，诺贝尔经济学奖得主、芝加哥大学经济系西奥多·舒尔茨教授到访北京大学，林毅夫凭借出色的英文功底被选为随行翻译。舒尔茨教授对林毅夫的才气非常赞赏。一天，他问林毅夫：“你想到美国读博士吗？”林毅夫不假思索地说：“想呀。”
林毅夫本以为舒尔茨教授只是随口说说而已，没想到他回美国不久，就给北大经济系和林毅夫本人写信，盛情邀请他到美国芝加哥大学攻读博士学位。1982年，林毅夫在北大获得经济学硕士学位后，来到了芝加哥大学。当时舒尔茨教授已经退休10年，不再带博士生。林毅夫入学后，舒尔茨教授破例将其招入门下。
