麦迪逊遵循了其前任创下的惯例，没有谋求第三次当选总统，指定詹姆斯·门罗作为他的政治继承人，竞选第5任美国总统。选民们对麦迪逊的政绩大力赞扬并大力支持门罗顺利当选。
晚年生活 卸任后，麦迪逊回到养育了他的蒙彼利埃，决心全面退出政坛。他一面读书、写信、会友，一面致力于农场的科学化经营。他要建立一座全国第一流的农场，其目的：一是要使晚年生活过得更加充实，二是要填补几年来农场经营不善的亏空，另外要偿还不争气的继子欠下的债务。
与杰斐逊一样，麦迪逊对教育事业十分热心，赞同并参与创建弗吉尼亚大学，出任该校董事会的董事，杰斐逊去世后接任该校校长。与此同时，他还进行研究和写作，整理自己在各个历史阶段所写的论文。
1829年，麦迪逊出席了弗吉尼亚宪法会议，担任联合主席。该会议的使命是修订州宪法。这是麦迪逊卸职后公开参加的唯一一次政治活动，足见其对法制建设事业的高度关注。
麦迪逊始终捍卫他所参与创建的联邦及其宪法。为此，他在晚年卷入了一场争论：南方人认为，各州有权宣布联邦法令违宪而无效，并可以和平地退出联邦。麦迪逊公开驳斥了这种观点，他否认了南方人主张拥有的这些权利的合法性并指出他从未有过把联邦权力授予各州的主张。
麦迪逊是个大种植园主，但他对奴隶制持否定的态度，一贯认为：长期保持奴隶制会破坏联邦。但他的主张是温和的：逐步解放黑奴，将他们移殖到国外。他退休后仍然坚持这一主张，对美国殖民协会的建设工作给以极大的关注。
麦迪逊是开国元勋中最长寿的人之一，亲眼目睹了工业革命在美国创造出的各种奇迹，看到了美国经济的繁荣和疆域的迅速扩展，同时也看到了由于黑奴制问题所导致的国内争端。而且，他的晚年生活陷入困顿，不得不出卖了一部分地产和重要的历史文件。
1836年6月28日，麦迪逊在亲属的围绕下与世长辞，葬于祖父留下的庄园的家族墓地。他的墓碑上只刻有他的姓和生卒年月，其质朴无华与墓主人的风格十分吻合。
