令张国焘没有想到的是，关于他的去向，蒋介石早已有所“安排”。冬季的一天晚上，军统头子毛人凤在上海家中请张国焘吃饭，由军统局沈醉作陪。席间，张国焘迫不及待地提出去台湾定居，毛人凤笑笑说：
“你还是留在大陆比较好。”
“好啥？”张国焘愁眉苦脸地说，“或许他们不会杀我，可一个接一个的运动，一场接一场的批斗，我已经领教过了。如今年纪大了，经受不了啦。人总是要面子的，他们又如何会给我面子，说不定还要受皮肉之苦。”
“可是，你留在大陆，就能及时了解共产党的情况，这比去台湾作用大得多。”毛人凤唯恐张国焘不明白，又补充一句，“这是老头子亲自决定的。”
张国焘愣了一下，心中有些愤愤不平，自己从三年前辞职后就没再端过蒋介石的饭碗，他管得也太宽了吧！但没有蒋介石的同意台湾也去不了，只好无可奈何地说：
“其实，我也不想再干什么了，都半截入土的人了，只想到台湾做个顺民，当个小百姓。”
毛人凤对张国焘不是没有同情，只是蒋介石的命令不能违背，张国焘离开时，他直言相告：“如果你执意要去台湾，应该知道，台湾是不欢迎你的。”
张国焘愣了一下，黯然离去。
这一年，张国焘51岁，这位曾风光一时的共产党创始人之一，带着自己最后的一点尊严，携家人，踏上前往台湾的旅途。
到台湾后，正如毛人凤所说，台湾没有人欢迎他，国民党既不给他安排工作，也不理会他一家的到来，更没人过问他一家人的生活。张国焘一生清廉，没有积蓄，为了生计，打算恢复《创进》周刊，却苦于没有资金。他好不容易在北投一家温泉旅馆附近弄了一栋房子，却又被自称是东南军政长官公署的人霸占，张国焘因此气得大病一常
台湾实在待不下去了，1949年冬天，在张国焘一家人赴台刚好一年的时候，张国焘带着妻子和三个儿子离台赴港。在香港，张国焘总算找到“志同道合”的国民党人士顾孟余、李微尘，三人组织起“民主战斗同盟”，创办了《中国之声》杂志，张国焘任社长，李微尘任主编。然而好景不长，张国焘因与李微尘闹矛盾，受到李、顾二人联手排挤，被迫辞去社长一职。
此时正值朝鲜战争爆发，国际黄金市场因战乱影响价格上涨，张国焘拿出家中仅有的5000美元做起炒金生意，开始时收获不小，但随着朝鲜战争的结束，黄金价格大幅度下跌，张国焘不仅将赚来的又赔进去，而且几乎将老本赔个精光。此时他无其他收入，只能靠大儿子张海威教书所得维持生计，日子十分艰辛。就在这时，杨子烈上街买菜跌倒在石板路上，摔断大腿骨，高昂的住院费让张国焘的家庭又蒙上一层阴影。
1956年，张国焘注意到国内形势已经宽松，萌生回大陆的想法，他托友人向中央请示，得到的回复是，回大陆可以，但必须在报纸上公开承认错误。张国焘仍然丢不下面子，此事只好作罢。
此间，张国焘一家一直挣扎在贫困线上，直到1961年，美国堪萨斯大学约请张国焘撰写回忆录，每月支付2000港币作为稿酬，才解决了张国焘生计上的难题。张国焘经过四处搜集资料和努力回忆，历时4年，写下《我的回忆》共3册100万字。杨子烈也写下一部《往事如烟》，后改名为《张国焘夫人回忆录》。此后，张国焘夫妇基本靠这两本书的版税维持生计。
1966年，大陆上开始的一场史无前例的运动——“文化大革命”波及到香港，令身负“叛徒”罪名的张国焘甚为恐慌。此时张国焘已在香港居住了近20年，已经习惯了香港的生活。香港毕竟与大陆水陆相连，已经成为张国焘心目中的故乡。
然而，为了自己和家人免受灾难，1968年，71岁高龄的张国焘与妻子杨子烈不得不告别故土，远赴加拿大多伦多，从此开始了漂泊异国他乡的生活。
