鉴于此，蒋介石紧急召见张群等人，商讨美、日对台日“和约”的态度。蒋介石最后决定谈判底线，日本代表来台后，台湾一定要坚持双方签署的“条约”名称是“和约”；台湾“中华民国”政府系代表整个中国，并非仅为台湾或其他现时辖治下的领土；中日和约应与旧金山的多边和约属同一类型。〔42〕如果日本代表不同意，则不必来台湾谈判。蒋介石要求将这一意见告诉日本驻台代表木村。其实，蒋介石也是做做样子，他根本不想与日本撕破脸皮决裂。
2月17日，日本代表河田烈等抵达台湾。2月20日，河田烈等与台湾“外长”叶公超等展开正式会谈。河田烈在首次正式会谈的致辞中，竟然把日本对中国十几年的侵略战争说成是“屡次发生不幸的事件”，把侵略战争责任推卸得一干二净，对侵略战争没有一点忏悔或道歉的意思，仅仅说了一句“我们实在以为惋惜”〔43〕。由此可见，日本在与台湾的谈判中根本没有把自己置于战败者的地位。
日台谈判过程甚是艰难，双方争斗相当激烈。双方经过5天的交涉，并经过美国驻台代办蓝钦的干预，才对条约名称达成协议，日本暂时同意其为《中华民国与日本国间和平条约》。进入和约实质性谈判阶段，双方就一些关键问题展开激烈争论。争论的一个焦点是战争赔偿问题，前面已经叙述过，最终结果是台湾方面主动放弃战争赔偿。
关于和约的适用范围，是双方争论的另一个焦点。日本坚持和约“应适用于现在中华民国政府控制之下，或将来在其控制之下之全部领土”。“而在中华民国的立场，则以‘或’字有二者选择一的文意，故而要求在条约中改正为‘及’字。”吉田茂给日本代表团的命令是，即便改动一个字，也要得到他的同意。双方僵持不下。最后，几经交涉，蒋介石台湾方面同意按日方要求表述，另在《同意记录》中写明：正文中的“或”字具有“及”的意思。“因此，而使中日和约确认中华民国对于中国整个领土的主权。”〔44〕
关于台湾及澎湖问题，双方分歧也很大。日本只肯在和约中写明放弃对于台湾及澎湖群岛以及南沙群岛及西沙群岛的一切权利、名义与要求，而不愿写明将上述地方交还“中华民国政府”。由于蒋介石政府承认了旧金山和约，蒋介石只得同意以旧金山和约的规定来写。旧金山和约关于台澎有如下规定：“日本放弃台湾及澎湖列岛的一切权利、权利根据及要求。”这样，日、蒋和约里也就没有提及台澎的归属权问题。由此，实际上承认了美国政府炮制的“台湾地位未定”论。
日、蒋双方经过了长达67天的谈判，双方代表于4月28日终于在和约上签字。日蒋和约签订前，由美国牵线搭桥，谈判中间又有美国斡旋干预，和约内容自然反映了美国的国家意志。和约的签订，标志着美国终于建立了一条北起韩国，中经日本、台湾，南至菲律宾的月牙形防御链索，台湾构成这个链索的一个关键环节，这就是美国的阴谋。
日、蒋和约签定的当天，旧金山和约生效，日本重回国际社会。和约签订后，日本裕仁天皇对以蒋介石“特使”身份访日的张群说：“蒋总统在终战时发表声明以德报怨，此种宽大精神至今令人感激。由于蒋总统的这种精神，本次和平条约才赖以完成。”〔45〕
日本在和约签订过程中，对蒋介石方面并不友好，丝毫也没有显示出对蒋介石“以德报怨”的感激之情。日、蒋和约并不是一个战胜国与战败国的和约，蒋介石为了挽救台湾的国际地位，不得不追随美国，被迫吞下这个苦果。对于蒋介石急切与日本签订和约的心态，时任蒋介石“总统府”机要室主任秘书的周宏涛在回忆录《中日双边和谈内幕》分析中说：
