然而，所有这些工作在费尔马心目中均不如他写在《算术》书页空边上的一系列短小的评注重要，那些纯粹属于智力的数字游戏，他一直被一种强烈的欲望——想要了解自然数的性质以及它们之间的相互关系——所驱使。《算术》虽然成书在一千多年前，可是中间隔着漫长的中世纪，大量的数学经典文献被完全遗忘了，费尔马得到此书一定如获至宝。书中提出了一百多个数学问题，丢番图本人逐一予以解答，这种认真的做法却不是费尔马的习惯。在研究丢番图的问题和解答时，费尔马经常得到启示去思索和解决一些相关的微妙问题。令人庆幸的是，这部译著的每一页书边都留有宽大的空白，有时候他会匆匆地在那里写下推理或评注。
对于后世的数学家们来说，这些不太详尽的注记成了用之不竭的一笔财富。像那个时代的大多数数学家一样，费尔马对自己的研究结果守口如瓶，如果没有一个叫梅森的神甫的竭力鼓动，他甚至可能不会与别的数学家通信。这位神甫不仅热衷探讨整数的性质（他以梅森素数在数学史上留芳），而且喜欢旅行和传播消息，并定期安排数学家们的各种聚会——这与两个世纪以后现代主义诗人们的活动颇为相似，他的圈子后来形成法兰西学院的雏形。不过，梅森也因为“泄密”得罪了笛卡尔那样的朋友，可是，对于生活在边远山区的费尔马来说，神甫的每次到访都是受欢迎的，他的影响力大概仅次于丢番图的《算术》。
尽管梅森神甫一再鼓励，费尔马仍固执地拒绝发表自己的结果，他是个缄默的天才，放弃了许多次成名的机会。得到人们的承认对他来说毫无意义，唯有新的定理的发现带给他秘密的喜悦，这一点足以让他感到满足。然而，这位隐身独处的天才有一种不可避免的邪恶的癖好，他和别人的通信其实是一种智力上的挑逗。费尔马经常写信叙述他的最新定理，却不愿意透露任何证明的线索，这种挑衅性的行为着实使收信人恼恨，笛卡尔就指责他为“吹牛者”，牛顿的前辈沃利斯则管他叫“那个该诅咒的法国佬”。
费尔马尤其喜欢捉弄海峡对岸的同行，因为直到他生活的年代，英国尚未产生过一位可以和他媲美的数学家。六十四岁那年，费尔马到邻近的塔恩省的小镇卡斯特尔执行公务，不幸染上一种严重的疾病去世。综观费尔马的一生，他的活动范围不超过两百公里，这一点与佛陀释迦牟尼一模一样。著名的英国古典学者贡布里希爵士在谈到文艺复兴初期的意大利画家乔托时指出：“在乔托之前，人们看待艺术家就像看待一个出色的木匠和裁缝一样，他们甚至不在自己的作品上署名。”同样，当帕斯卡尔或其他朋友催促费尔马发表某个结果时，他回答说：“不管我的哪项工作被确认值得发表，我也不想在其中出现我的名字。”
由于费尔马与巴黎的数学界不相往来，他的通信者对他未必怀有好感，因此当他在梅森神甫之后突然去世时，他的各种发现处于被永远遗失的危险之中。幸亏费尔马的长子克莱蒙-塞缪尔（他对数学的贡献如同卡夫卡的遗嘱执行人布罗德对文学的贡献）意识到父亲的业余爱好具有重要的价值，他花了五年时间研读父亲涂写在页边的文字，整理出了四十八条评注。1670年，一本叫《附有皮埃尔·德·费尔马评注的丢番图的算术》的书在图卢兹出版了，而被后人称为“费尔马最后的定理”（费尔马从未与通信者提起过）即为其中的第二条评注。
