1612年，杰斐逊家族从英国移民到弗吉尼亚。在这个新世界，这个家族很快变得兴旺显赫、声名鹊起。1619年，詹姆斯敦召开议会，杰斐逊家族一名成员当选议员。未来总统的曾祖父是一名种植园主，娶了查尔斯城县一位法官的女儿，并在约克镇从事买卖地皮的生意。他于1689年去世，留下了包括土地、奴隶、家具和牲畜在内的诸多遗产。他的儿子，未来总统的祖父，也名为托马斯，在殖民社区里的地位比他的父亲更加显赫，拥有一匹赛马，担任亨利科县的治安官与和平法官。他把财产同样也传给了儿子彼得·杰斐逊：一栋豪宅、银质的餐具和大量昂贵、坚实的家具。作为民兵队队长，托马斯·杰斐逊的祖父曾用烤牛肉和珀西科酒款待上校威廉·伯德二世—弗吉尼亚最有权势的人之一。
彼得·杰斐逊于1708年出生于切斯特菲尔德县，他在其父辈的道路上继续前行。彼得和威廉与玛丽学院的数学教授约书亚·弗莱一同绘制了第一幅弗吉尼亚的权威地图，并穿越了弗吉尼亚州和北卡罗来纳州的边界，这个显著的成就要归功于他深厚的知识积累。托马斯·杰斐逊写道：“父亲的学识被忽略了，其实他意志坚强、判断敏锐、渴求知识，他阅读很多书籍提升自己。”通过自学，彼得·杰斐逊成为民兵队长、教区代表和弗吉尼亚州下议院议员。
在界定弗吉尼亚州和北卡罗来纳州边界线的远征中，这位父亲用行动证明了自己是开拓英雄。家族史记录者是这样记录的：穿越蓝岭时，彼得·杰斐逊和他的同伴日间击退了野兽的袭击；夜晚，出于安全的考虑，在树上轮流休息。
食物匮乏、筋疲力尽、晕倒昏厥，这支队伍蹒跚前进。靠生食动物的肉，彼得·杰斐逊才得以生存了下来，直到工作结束（也许正如家族史里所记载的，吃掉能找到的所有可维持生存的东西）。
托马斯·杰斐逊在父亲的光环下成长，彼得·杰斐逊去世时，托马斯·杰斐逊只有14岁。父亲很强大，能做到其他人无法企及的事情，他通过自己的意志、体魄的力量，改变了周遭的世界。勘探者定义新的世界，探险者征服未知世界，绘图者勾画这个世界。在托马斯·杰斐逊的心目中，父亲彼得·杰斐逊三者兼备，是一位神一般的人物。托马斯·杰斐逊崇拜父亲的力量，并且一生都在追述这位英勇的长者的故事。托马斯·杰斐逊的曾孙女讲述道：“我的曾祖父对自己父亲性格中高贵的品质充满了子孙对先祖的由衷的崇敬与钦佩。”父亲深深地影响了其他人的生活方式，而托马斯·杰斐逊也竭尽全力扮演同父亲一样的角色。
彼得·杰斐逊婚姻美满，娶了弗吉尼亚一个名门望族的女子。1739年，他同1721年出生于伦敦的珍·伦道夫喜结连理，她的父亲艾夏姆·伦道夫是一名庄园主和海军上尉。珍同父亲居住在古奇兰县的丹吉内斯带有私家花园的府邸里，拥有巨大的产业。
伦道夫家族的殖民起源可以追溯至1642年从英国移民而来的亨利·伦道夫，他与一名下议院议员的女儿结为夫妻。亨利·伦道夫发迹于弗吉尼亚，在亨利科县担任官员，同时还是下议院的一名职员。1669年，他返回英国，据说，他很轻易地说服了年轻的侄子威廉与他一同前往弗吉尼亚。
