《临时条款》修改之后，障碍就消除了：“戡乱时期”的“总统”可以无限期连任。1960年3月，蒋介石再度当寻总统”，并任命陈诚为“行政院长”。陈诚召集专家修改“宪法”，应该是迫于党内高层人士的压力。因为“宪法”应具有稳定性，为了连任而修改“宪法”总是一件不太光彩的事，而且蒋从始至终不讲话，给外人的印象好像是陈诚逼着他连任。所以，陈诚对此事应该是有怨气的。
果然，蒋介石后来把自己连任的原因推到了陈诚身上。据陈履安说，他父亲在日记里记载：有一天，蒋对陈诚说，我本来不想连任的，看到你跟胡适之、梅贻琦、王世杰、蒋梦麟，一起到中南部去，我就不放心，所以还要再干几年。陈诚当然不服，争辩道，我本来就不要做了，你一定要我做，跟这些人来往又有什么罪过呢？陈诚在当天的日记里写道：“蒋对我的疑虑实在是太深。”
连任风波平息后发生的一件事更让陈诚生气。当局本来已研究决定，给部队军官加薪，陈诚也宣布了，可蒋介石不同意加。陈诚感觉很丢面子，7月2日，他一气之下跑到金门视察慰问前线官兵去了，而且一呆十多天不回来。据陈履安回忆，蒋介石也很生气，责成秘书长张群亲自到金门去请陈诚回岛理事。张群说，总统要你一定回去，再不回去，可能会有麻烦了。陈诚还是发牢骚，张群最后说：“难道要我跪下来求你吗？”陈诚不好再犟了，跟着张群一起飞回台北。
回到台北，陈诚向蒋介石道了歉。
蒋介石连任第三届台湾“总统”后，又加紧了对民主自由派等不同声音的箝制。陈诚在公开场合与蒋介石保持一个声调，在1961年夏天，先后召开了两次阳明山会议，一再强调自由与责任对等，民主不能离开法治，自由不能离开离开自律。可他心里应该比谁都清楚，连“宪法”都可以想修改就修改，台湾还有什么法治可言。
陈履安回忆说，“我父亲从阳明山下来，就真的不想做了，很灰心，不要做了。王世杰劝我父亲，这个时候不能辞……他们的理由很简单，说为国家想，不要搞僵。”就这样，陈诚又做了三年，直到1963年12月才辞去。此后，他挂着“副总统”和副总裁的虚职，直到1965年3月去世。
由于陈诚对蒋介石的忠诚，以及他的顾全大局，也由于蒋对他的信任，陈诚与蒋介石始终没有失和。
民国史专家杨天石评述蒋陈的关系时说，总体来说，陈诚是蒋介石的浙江同乡、黄埔系、宋美龄的干女儿的丈夫，符合蒋介石的用人标准。此外，蒋陈亲和还有其他重要原因：第一，陈诚总体上是忠于蒋的。第二，陈诚的军事能力非常突出，是不可多得的人才。
