麦迪逊始终捍卫他所参与创建的联邦及其宪法。为此，他在晚年卷入了一场争论：南方人认为，各州有权宣布联邦法令违宪而无效，并可以和平地退出联邦。麦迪逊公开驳斥了这种观点，他否认了南方人主张拥有的这些权利的合法性并指出他从未有过把联邦权力授予各州的主张。
麦迪逊是个大种植园主，但他对奴隶制持否定的态度，一贯认为：长期保持奴隶制会破坏联邦。但他的主张是温和的：逐步解放黑奴，将他们移殖到国外。他退休后仍然坚持这一主张，对美国殖民协会的建设工作给以极大的关注。
麦迪逊是开国元勋中最长寿的人之一，亲眼目睹了工业革命在美国创造出的各种奇迹，看到了美国经济的繁荣和疆域的迅速扩展，同时也看到了由于黑奴制问题所导致的国内争端。而且，他的晚年生活陷入困顿，不得不出卖了一部分地产和重要的历史文件。
1836年6月28日，麦迪逊在亲属的围绕下与世长辞，葬于祖父留下的庄园的家族墓地。他的墓碑上只刻有他的姓和生卒年月，其质朴无华与墓主人的风格十分吻合。
