由于杰斐逊的竭力推荐和麦迪逊本人作出的贡献，他在1780年作为弗吉尼亚的代表出席大陆会议。这时期，他主张增加税收以增加国家的收入，争取使乔治敦成为国家的首都。在外交上，他赞同分化欧洲列强，孤立打击英国的策略，但已流露出孤立主义的情绪。虽然他与杰斐逊私交甚笃，并赞同杰斐逊的基本原则，但他反对松散的邦联制，主张加强中央的权力。他初到大陆会议时年仅二十九岁，未露头角。但两年之后，已经成为一位享誉全国的政治家和法学专家，且学识渊博，辩才出众。
1782年，三十一岁的麦迪逊陷入了初恋的喜悦之中，他的心上人是15岁的基蒂·弗洛伊德。两人深深地堕入了情网，难分难舍，并确定了结婚的日期。在给杰斐逊的信中，麦迪逊描绘了自己的欢乐和对幸福生活的憧憬，甚至为此他准备放弃大陆会议的工作。但第二年，基蒂突然解除了婚约，与别人结为眷属，这件事使麦迪逊的情绪一度跌落到最低谷。
1783年，麦迪逊重返弗吉尼亚议会，为了忘却婚姻问题和官场失意带来的烦恼，他全身心地投入了老朋友杰斐逊的民主改革事业。经过他的努力，弗吉尼亚《宗教自由法案》终于完成了立法程序。在议会中，他领导了反对在弗吉尼亚重建主教派教会的斗争，挫败了某些议员提出的威胁政教分离思想的议案。他还极力促进了本州资源的开发工作和对外贸易。他在议会中还多次呼吁不得对异端定罪和对公职人员进行宗教考核，并提出了相关法案，经议会审议后通过。这时期他兼任商务委员会主席，致力于提高该州各港口的等级，以加强同外界的竞争。
宪法之父 在州议会期间，麦迪逊对松散的邦联体制的可靠性的怀疑进一步加大，仍坚持建立强大的联邦的主张，对此，他明确指出，脆弱的邦联制和过度的民主使国家难以应付来自国内外的巨大压力。麦迪逊的言论和观点得到了华盛顿的赞赏，极端的联邦主义者甚至也把他视为同路人。
1786年，麦迪逊参加了安纳波利斯会议。此会议是为讨论州际贸易问题而召开的，但会议的重要之处却在于：它决定在次年召开一个讨论修改《邦联条例》的诸州会议。麦迪逊是推动会议做出这一决定的关键人物之一。
安纳波利斯会议结束后，麦迪逊转道来到弗农山庄，向华盛顿汇报了会议的情况，劝说他接受自己的主张，并参加制宪会议。
1787年于费城召开制宪会议，历时三个月，麦迪逊是带着一套宏大的制宪方案前来与会的，在这个被杰斐逊称为 半人半神的大聚会 中扮演了举足轻重的角色，从而成了宪法的总设计师之一。他草拟的 弗吉尼亚方案 成为会议上制定的新宪法的理论依据。他为建立一个联邦制的国家而慷慨陈词，起草了大部分宪法条文。他主张加强中央的权力，在联邦政府中实行分权制衡原则，建立具有民意基础的两院制国会体系。但他不同意汉密尔顿等极端联邦派的主张，而是主张建立一个能在中央与各州之间层层分权的联邦体系，确立司法部门的独立地位，并提出应由选民直接选举产生众议员。会议期间，麦迪逊对会议过程做了详细而准确的记录，为后人了解这次秘密会议提供了第一手资料。《联邦宪法》于9月17日正式签署公布。由于麦迪逊的思想主张和社会活动对《联邦宪法》的制定发生了巨大的影响，而且他还是制宪会议的主要记录者，所以许多史学家称他为美国的 宪法之父 。
为了使新宪法在弗吉尼亚得到批准，应华盛顿的强烈要求，麦迪逊又参与了争取新宪法得到批准的运动，因为华盛顿看到，在弗吉尼亚，反对宪法的势力相当强大。通过竞选，麦迪逊进入了弗吉尼亚州的批准会议，他不仅成了赞成批准一派的领袖，而且指导了会议辩论。麦迪逊有力地为联邦制和分权原则作辩护，他一再强调：新宪法将给国家带来安全、稳定和繁荣。经过极其激烈的斗争，宪法在弗吉尼亚得以批准。
