托马斯·杰斐逊出生在殖民地的上流社会，成长于一个富裕、有教养、交游广泛的家庭。他们用银器进餐，优雅跳舞，时常大宴宾客。
彼得·杰斐逊的书房在房子的一楼（一楼共有个房间），他在一张樱木桌上办公。他的藏书包括莎士比亚、乔纳森·斯威夫特、约瑟夫·艾迪生的著作和波·德·索尔亚斯·拉平的《英格兰史》。托马斯·杰斐逊写道：“我年轻的时候，着迷于历史书籍和游记。”尤其是乔治·安森的《环球旅行记》和约翰·奥格尔比的《美洲》，这两本书为年轻的杰斐逊提供了一条通往更加广阔的世界的文学走廊。彼得·杰斐逊的孙辈回忆起祖父时说道：“当我还是个孩子时，祖父就对游戏等消遣不感兴趣，而是非常喜爱阅读，他从没有闲坐、无所事事的时候。”
对于富裕的弗吉尼亚白人而言，生活是悠闲惬意的。“父亲时常拜访一位挚友，二人一同进餐、共度夜晚，第二天又一起进餐，晚上才会返回沙德维尔。”托马斯·杰斐逊回忆道，“这位挚友也以同样的方式回访父亲。每周都如此，这样一来，你瞧，一周之内他们就会共度4天。”食物精致丰盛，美酒香醇甘洌，朋友愉悦惬意。
杰斐逊认为自己最初的记忆始于马背上。一名骑马的奴隶用手托抱着他，小杰斐逊的身下还有一个枕头，就这样赶了很长时间的路：一个白人幼主被没有人身自由的奴隶照看着。那时杰斐逊不过两三岁。他们举家赶往特可侯—沙德维尔西南方60英里的伦道夫府邸。特可侯的主人，珍·伦道夫·杰斐逊的堂兄威廉·伦道夫刚刚过世。弥留之际，鳏夫威廉·伦道夫请求彼得·杰斐逊这位“敬爱的、忠实的朋友”，赶到特可侯处理自己的后事，并收养自己的3个孩子，彼得·杰斐逊均一一做到了。（威廉·伦道夫和彼得·杰斐逊关系极为亲密：彼得·杰斐逊曾经从伦道夫手中购买了400英亩的土地—沙德维尔所在之地，花费仅仅是饮下亨利·韦泽布诺恩最大号的碗所盛放的朗姆潘趣酒！）
托马斯·杰斐逊在伦道夫的府邸生活了7年，自威廉·伦道夫过世后，年仅两三岁的托马斯就生活在那里，一直到他年满9岁或者10岁。
彼得·杰斐逊可以从伦道夫庄园（他将此处管理经营得很好）很轻松地赚到自己和家人吃穿用度所需的费用，那些年他在特可侯为离世的朋友履行职责，而对自己位于阿尔伯马尔县的土地却疏于管理。在此期间，彼得·杰斐逊曾多次外出考察，这意味着他长时间远离家园，远离身处特可侯的妻子以及伦道夫和杰斐逊家族的亲人。
成年后的托马斯·杰斐逊不喜冲突的性格应该根源于在特可侯与伦道夫家族一起居住的日子。尽管托马斯·杰斐逊是父母彼得和珍·杰斐逊的长子，但在别人家寄居多年对他的性格发展有着深远的影响。特可侯财产的继承人、年长两岁的托马斯·伦道夫与他年龄最相仿，是否因此造成了年幼的孩子们之间的差别无从考证，但杰斐逊从小就不愿与人发生任何形式的冲突。在特可侯生活的日子让杰斐逊养成了在与人面对面交往时谦和礼让的性格。
