杰斐逊在任职之初希望把注意力放在国内建设方面，但实际上，对外事务牵扯了他相当大的精力，特别是在他的第二任期内。
在国际上，英法争端日趋激烈，两国不断侵犯美国的中立权——英国强征美国水手服役，据统计，大约有五千个美国人被强征，而法国则扣压美国的船只。1807年发生的“切萨皮克号”遭袭事件更加剧了公海上的紧张局势，同时也加强了国内主战派的力量。杰斐逊后来回忆时指出：“是这一事件将战争提上了日程。”但此时杰斐逊主要是想用战争危险迫使英国人做出让步。为了维护美国的国家利益，杰斐逊签署了《禁运法》，中断了与国外的贸易联系。杰斐逊实施《禁运法》的另一个目的是想让欧洲人感觉到，美国正在为战争做准备，从而有所让步。这一政策使国家经济蒙受了损失，为许多人所抱怨，并招致反对党的恶意攻击，虽然达到了避免战争的目的，但联邦政府承担了沉重的压力。
1807年3月，杰斐逊签署了禁止奴隶贸易的法令——这是他多年试图完成的一项工作，但此法令未得到全国认真贯彻。
1808年大选时，杰斐逊拒绝了所有让他连任的恳求，向选民力荐他忠实的战友和学生麦迪逊作为他的政治继承人。当获悉麦迪逊在大选中获胜时，他感到由衷的欣慰和如释重负。
蒙蒂赛洛的隐士 杰斐逊的晚年是在蒙蒂赛洛庄园度过的，亲自经营他的农场，进行农作方面的试验和改良。作为一个思想家和教育家，他终日与书籍为伴，也研究自然科学，偶尔还搞点发明创造。但他并未与世隔绝，通过大量的信件，他与各界友人保持着密切的联系，经常接待各方宾朋。经过通信，他恢复了与约翰·亚当斯中断多年的友谊，两人在书信中谈古论今，回首往事，成为他晚年的一件乐事。
杰斐逊始终认为，书籍是人类的良师益友。当他得知国会图书馆在第二次独立战争中被烧毁时痛心疾首，遂决定把自己的藏书献给政府。杰斐逊宝贵的藏书在重建国会图书馆时起了重要的作用。
杰斐逊还以极大的热情关注教育事业的发展。在多年研究的基础上，他制定了一套极为系统的教育制度，该制度充分体现了杰斐逊的教育理念和民主主义思想，对美国的教育体制和教育事业的发展产生了深远的影响。
1816年开始，他着手创办弗吉尼亚大学，从筹措经费、绘制蓝图，到制订教学计划、聘请学者，他事必躬亲，并担任了首任校长。这座被杰斐逊视为他一生中最重要的创建学校之一，如今已成为美国著名的高等学府，为国家输送了大量高级专门人才。
在晚年，蒙蒂赛洛似乎成了一块圣地，不断有人从各个地方前来拜访这位年迈的先贤，其中有他的朋友、老同事、政府官员、国会议员和外国友人等，也有不少是拿着介绍信来的陌生人。杰斐逊很喜欢这种会见，并热情地款待四方宾朋，这种慷慨的待客活动消耗掉了大量的资源和钱财，杰斐逊的经济收入不断下降。但是，他的好客精神似乎从未减弱。
杰斐逊非常重视对子孙后代的教育，不仅为他们提供良好的学习环境，用自己的道德观念教导他们，还经常与孩子们同乐，周详地过问他们的饮食起居。
1826年6月，杰斐逊的病情日益沉重。7月4日——美国独立五十周年纪念日，他的老朋友约翰·亚当斯在新英格兰辞世，弥留之际仍在喃喃呼唤：“托马斯·杰斐逊还活着。”其实，杰斐逊已早他几小时在蒙蒂赛洛的家中静静地长眠了。
杰斐逊安葬在蒙蒂赛洛的家族墓地中——他的身旁便是爱妻玛莎的香冢，墓碑上铭刻着他生前拟好的简短碑文：
托马斯·杰斐逊之墓
美国《独立宣言》的起草人
弗吉尼亚宗教自由法案的作者
弗吉尼亚大学的创建人
