就在这一年，二十三岁的伦道夫成为弗吉尼亚州议会的议员。此时期的伦道夫朝气蓬勃，充满活力和激情，是政坛上一颗引人注目的新星。此时，正是杰出的民主主义思想家托马斯·杰斐逊致力于弗吉尼亚州民主改革的时代，伦道夫的思想不如杰斐逊那么激进，但在一些重大问题上的观点是相同的，特别是在修改该州法律
的工作中，伦道夫也作出了贡献。为了支援独立战争，伦道夫忙于征兵、筹款，组建地方民兵，组织军需生产，发展地方经济。他还在修改法律的工作中展示了杰出的才华。
此时期，伦道夫的事业真可谓一帆风顺，1779年，他被选为大陆会议代表，此时距他参加革命仅有四年，刚满二十六周岁。
此间，伦道夫是大陆会议中著名的活跃分子。他支持会议提出的各项革命法令，协调各地积极支援独立战争，赞同大陆会议派代表争取欧洲各国对美国革命事业的支持。由于他十分精通外交事务，当时的主要领导人经常就一些重大的国际问题向他咨询。驻会期间，伦道夫结识了一大批当时的政坛精英，为今后在政治上继续发展奠定了雄厚的基础。
1786年，伦道夫代表弗吉尼亚出席了安纳波利斯会议。此会议名为讨论州际贸易问题，但其主旨却在于修改《邦联条例》，在亚历山大·汉密尔顿和詹姆斯·麦迪逊的积极游说下，会议决定再召开一个关于制宪的诸州会议。伦道夫对这一行动表示支持。
同年，伦道夫被选为弗吉尼亚州州长，为处理州务而日夜操劳。他行事稳健，善于协调各种利益和矛盾，因此任州长期间未发生什么大的风波。其时，制宪运动正在各地蓬勃发展，伦道夫是弗吉尼亚制宪运动的积极推动者。当得知乔治·华盛顿对是否参加制宪会议抱犹豫态度时，伦道夫与麦迪逊共同前去做工作。3月28日，华盛顿写信给伦道夫，表示接受他的建议。后来，华盛顿在制宪会议上发挥了不可替代的作用，伦道夫对此功不可没。
在著名的1787年制宪会议上，伦道夫作出了较大的贡献。5月29日，他向会议宣读了 弗吉尼亚方案 ，成为会议讨论的基础。其主要内容是：设立两院制议会，议员按人口比例向各州分配名额，联邦行政部门由议会选出等。该方案虽然代表了大州的利益，但包含了不少真知灼见，对《联邦宪法》的制定工作产生了巨大影响。在随后开展的批准新宪法的运动中，他与杰斐逊的观点同出一辙，要求对宪法的内容加以充实完善，即把一些基本的民主权利列入宪法。此后，伦道夫积极参与了这场运动。
父亲病故后，伦道夫继承了一笔相当可观的家族遗产（包括田产和奴隶），但同时，父亲也给他留下了一笔不小的债务。为了还上这笔债务，他花费了很多年的时间，但由于他十分珍视祖上传下来的产业，因此拒绝了让他出卖遗产的所有建议。
议员、司法部长伦道夫是律师出身，因此对法制建设十分关注，主张建立一个民主和法治的共和国。当他发现州长是个 忙碌而平庸 的职位，不能真正实现他的主张时，便辞去这一职务，通过激烈的竞选进入了州议会，以期在立法工作中实现他的政治理想。他的这一举动令当时的许多政界人士感到意外。
但伦道夫在弗吉尼亚议会工作的时间并不长，由于他在法律事务上表现出的热情和才华，加上与总统的私人关系，1789年9月被任命为联邦司法部长。作为第一任司法部长，他在美国的法制建设方面做了大量奠基性的工作。例如，他主持了创建美国司法制度的工作，努力通过立法途径保护各项自由权利，帮助总统起草了许多重要文件，他还与一些政治家一起抵制国家银行。
国务卿1793年12月31日，托马斯·杰斐逊由于厌恶汉密尔顿的政治专横而辞职，华盛顿斟酌再三，将国务卿的重任委托给伦道夫。此时，美国政坛上党争骤起，伦道夫虽然观点与杰斐逊相近，但试图左右逢源，结果却遭到了两派的诋毁和诘难，在夹缝中处境尴尬，任职期间政绩平平。
