退守台湾后，陈诚爱发议论、口无遮拦的作风才大有改进。大政方针上，陈诚与蒋始终保持了一致，但他们之间仍然还是出现了一些冲突。在1959年至1960年的“连任”风波中，陈诚与蒋介石的暗中较量最为激烈。
提起“连任”风波，先要说一说胡适。
胡适1891年出生，安徽绩溪人，早年留学美国，师从哲学家杜威，接受了杜威的实用主义哲学，并一生服膺。回国后，任北京大学教授，加入《新青年》编辑部，撰文反对封建主义，宣传个性自由、民主和科学，成为当时新文化运动的重要人物。上世纪30年代，主要从事中国古典小说的研究考证，同时也参与一些政治活动，对国民党包括孙中山的一些政治主张颇多批评。
抗战以后，蒋介石为了装点门面，请胡适出任国民政府驻美全权大使，直到1942年辞职。1949年，胡又去了美国，以后与蒋介石和台湾当局保持若即若离的关系。胡适对蒋的独裁统治多有批评，有亲美倾向，所以不为蒋所喜，但蒋又怕他在国外放大炮对自己不利，所以想方设法要把他延揽到台湾。1957年，委任胡为“中央研究院院长”，1958年4月，胡果然回到了台北。
这次回国，胡适是有政治目的的。他平生的最大愿望，是把中国造就成一个美国式的民主国家。1960年“中华民国”第二任“总统”到期。1959年就要提名“总统”候选人，并着手竞眩按“中华民国宪法”，“总统”只能连任两届，蒋介石不能再担“总统”了。谁来担第三任“总统”？胡适认为陈诚是合适的人眩当时国民党内除蒋介石外，只有陈诚的威望最高，蒋不参选，陈诚若参选，必定十拿九稳。陈诚向来崇敬文人，对胡适这样的大知识分子自然更加看重。两人在一起也谈得来，所以，胡对陈的评价高于蒋介石。
1958年（农历丁酉年）是陈诚六十大寿。陈的生日（农历十二月十二日）在元旦，胡适回台后，邀约蒋梦麟、梅贻琦、王世杰等三位志同道合的老友，和陈诚结伴到台南补寿。五个人在一起具体谈了些什么，无史料记载。不过，他们应该谈到了“总统”竞选的事。当时，台湾政界有人把胡、蒋、梅、王四人称为“商山四皓”。
“商山四皓”为秦末汉初避乱于陕西商县南山的四位隐士：东园公、绮里季、夏黄公、甪里先生。西汉建立后，汉高祖刘邦请他们出山为官，不至。后来刘邦宠幸戚夫人，想废掉太子（吕后之子）。吕后听从张良的建议，请到四皓，成为太子上宾。刘邦见太子得大贤之心，清除了改立太子的念头。后来太子继位，是为惠帝。把胡适、蒋梦麟、王世杰、梅贻琦四人比作“商山四皓”，可见其暗含的意思。
对自己是否想继续连任，蒋介石一直不吭声。明眼人知道，他还想再次连任。于是，1959年台湾学界便展开了一场围绕蒋介石应否再连任“总统”，是否修改宪法的大辩论。胡适又放大炮了，公开反对蒋介石做第三届“总统”，说：“蒋先生应树立合法、和平、转移政权之典范，不应为第三任‘总统’。”他还要陈诚劝老蒋公开表态不做第三届“总统”。陈诚哪里敢去“逼宫”。
胡适不仅反对蒋连任，他还准备在台湾成立一个民主党派，与国民党抗衡。胡的言论和做法自然引起亲蒋派的不满。而陈诚夹加在中间左右为难。按人之常情，陈诚应该也有做一届“总统”的念头。虽然没有“逼宫”，但他也装糊涂，始终不声明自己不竞寻总统”。这也让蒋有点难堪。
据陈履安回忆，僵局还是陈诚给打破的。“依照‘宪法’不能连任，怎么办？老蒋‘总统’不说，不谈这个事情，你们看着办。时间越来越迫切了，我父亲就找了些大佬来研商，想出个办法，修改《临时条款》。就把这个部署都做好了，报上去给老‘总统’。老‘总统’还是不讲话。他当选了，一句话不讲。”①
