为了挽救国际关系败局，蒋介石就派“国大代表”蔡孟坚以商人身份前往日本活动，探索国民党“政府”与日本复交及所谓达成签订“中日和约”的问题。蒋介石嘱咐蔡孟坚，如果需要，比如在重要关键时刻，也可称是蒋的私人代表。蔡孟坚到日本后，千方百计找得管道，结识吉田茂首相期间的副首相绪方行虎及参议院议长松野鹤平，从而商讨关于订约之事。时间耗费一年多，往返台北、东京数十次，终于有了初步线索。〔35〕
但是，日本则从自身利益出发，对台日双边和约态度暧昧。10月25日，日本内阁官房长官冈崎胜男约见从台北到访的蒋介石特使董显光时说：“我国固极敬重贵国政府，所惜者目前领土仅台湾耳”，并表示，日本“深恐与贵国订立双边和约后，势将引起大陆中国国民对于我之仇视”，“届时我国不易忍受”〔36〕。接着，首相吉田茂在日本参议院条约委员会上发言时，又表示了与大陆谈判的意向。10月30日，吉田茂在表示日本内阁对中日和约的态度时，又说：“日本现有选择媾和对手之权，关于如何行使此权，应考虑客观环境，考虑中国情形，及其将来与日本将来之关系，不拟轻予决定。”〔37〕
对于日本的拖延观望态度，9月13日，台湾“外交部长”叶公超公开警告日本：如果日本与北京中共签订合约，将阻止日本加入联合国。此时，在台中日月潭涵碧楼居住的蒋介石收到了吉田茂在日本参议院条约委员会上发言的全文。蒋介石读罢文稿，不禁怒火中烧，他立即打电话给张群，请张群来商议。张群赶来后，蒋介石对着张群倾泄对日本人的愤恨：
这日本人太不像话了。当初抗战结束之时，我们本着“以德报怨”的精神，对日本人并没有过多地追究，扶持日本，目的就是联手对付共产党。你看现在，他们居然想同毛泽东媾和，把我们甩到一边。〔38〕
张群对日本政界比较了解，他认为，对日人的态度不能操之过急。应慢慢做工作，晓以利害，以便让他们回心转意。他建议说：“我们可以通过美国政府向日本施加压力，别看吉田说话这么强硬，美国人一表态，他可是不敢不听。”〔39〕
蒋介石认为张群说得有道理，他马上电令在美国的顾维钧，一定要他策动美国向日本施压。又令孔祥熙出动“蒋介石游说团”，催促美国给日本施加压力。台湾“外长”约见美国代办蓝钦时声称：表示台湾方面认为“吉田的言辞，已构成对于自由世界的一项挑衅行为”，并警告说，“如任吉田长此以往，则旧金山和约业已完全失败”〔40〕。
蒋介石接连出招，不久就收到他期望的效果。12月10日，美国派杜勒斯访日，与吉田茂就台湾问题举行会谈。早前，杜勒斯就曾告诉日本人，如果日本不与台湾方面签订“和约”，美国将不批准旧金山和约。在美国的压力下，吉田最终做出让步。12月24日，吉田接受了由杜勒斯事先拟就的一封代表美国意志的信件，吉田署名后递交杜勒斯，这就是臭名昭著的“吉田书简”。
在“吉田书简”中，吉田茂表示：希望与“目前在联合国拥有席位、发言权及投票权，对若干领域行使施政权，以及与联合国成员国有着外交关系的中华民国建立外交关系”，日本政府准备“在法律允许之后——如果中华民国希望的话，按照多国和平条约的原则与其重建正常的关系，缔结条约。关于中华民国，两国间条约之条款将适用于现在中华民国政府管辖之下或今后应属于其管辖的所有领土”。“书简”最后，吉田茂向杜勒斯说：“我可以向你保证，日本政府无意与中国共产党政权缔结一个双边条约。”〔41〕
1952年2月5日，日本政府正式宣布，将与台湾签订双边“条约”，以结束战争状态并建立正常关系。然而，日本对于所签“条约”到底是友好条约还是和平条约，态度含糊。另外，吉田茂在日本众议院的一次演讲中称：“日本与国民政府订约，将以之为一个地方性政权”，就是说将要缔结的并非是“国与国”之间的“和平条约”，而是日本与国外一个地方政权之间的条约。
