卢西安对祖父的喜爱与他对两位兄弟的怨恨形成鲜明的对比，这在一部分程度上来源于他们对他是否为父母合法婚生的诽谤。斯蒂芬和克莱门特曾猜度卢西安并非厄尼斯特的亲生儿子，所以也就不是弗洛伊德的孙子。“这是让人作呕的诽谤。恶劣到让人难以原谅的程度。”他说道。不管这是不是一个恶作剧的玩笑，或是两兄弟真正的想法，卢西安从来没有忘记或原谅这件事。他八十七岁那年仍旧对此耿耿于怀，并向马克·菲什（Mark Fisch）抱怨。马克·菲什是纽约的地产商，《老大师》（Old Masters）的收藏者，并在二〇〇九年两次成为卢西安的模特。在弗洛伊德博物馆仔细研究了卢西安和他祖父的照片后，菲什确信两兄弟的说辞没有任何根据，所以不是真的，但是诽谤的伤害并没有因此而消失。卢西安对被称为私生子本身没什么太大感想——他自己至少是十几个私生子女的父亲，所以有私生子或本人是私生子对卢西安来说并无所谓。问题在于诽谤来源于谎言，并是由自己的家人流传出来的，而且是相关于一位与他关系亲密并赐给他名字和身份的长辈。
“他与西格蒙德的血脉联系对他很重要。这是他身份的关键，他的根源和他为什么能在英国活下来的缘由。即使事隔七十多年，这诽谤仍然伤害着他。”菲什说道，“他不可置信的敏感，好似曝露在外的神经，超乎任何人的想像。他的自画像一直表达着自己所希望的样子，或是想要世人看到的他自己的样子。它们不能显现一个花了七十多年心忧自己是否是私生子的人。即使是与不是已无关紧要，他还是无法放开，这中伤已成了他精神思想的一部分。”两个兄弟间的紧绷关系早期就可见一斑。达庭顿学堂（Dartington Hall）的一份学校报告上记载着“爱伦（Allen）先生欣赏克莱门斯对运动的热情，但是也注意到他急迫地想要得到注意和特殊对待。当他和卢克斯（指卢西安）一起玩板球时，斯蒂芬作为高年级的选手和他们对打，卢克斯追上了斯蒂芬，这似乎让克莱门斯真的非常恼火，他对兄长的情绪明显压过了他玩公平游戏的想法。”
不做一个弗洛伊德会失去很多定义了他的标识，卢西安觉得难以原谅自己的兄弟们。卢西安与斯蒂芬吵架时口不择言。八十年代末期，他们有一次为钱争吵起来。卢西安经常借钱来赌博，但是这一次却是卢西安借钱给斯蒂芬。一九八七年一月十二日，斯蒂芬试着写了封信给卢西安解释这场财务纠纷和彼此的误会：“这里附上一张一千英镑支票。我不太确定到底借了你多少钱，但我肯定没这么多。所以请你把找的零钱写张支票寄给我。在你去年在我的公司里待了二十多个小时以后，我很失望地看到你竟然还认为我是个骗子加笨蛋。我还有很多可以说的，但是我不记得这些年来你有承认过自己错误的时候，所以什么说法都有点儿多余。”
随之而来的是卢西安经典的爆炸式的轻松回复，卢西安在寄出的卡片背后留有图文。卡片名为“我想念你”，在上面卢西安感谢他的支票，呵斥他不还全部的钱，并指责斯蒂芬有选择性的失忆症。卢西安最后说斯蒂芬是大号的衰人一个，还形象地指责其口袋里装满了假话。后边跟着整整两页的信，上述自己对斯蒂芬还不还钱已经无所谓了，但是他是永远也不会再借他一个子儿。
多年以后，卢西安与斯蒂芬的关系稍有缓和，他让自己的一个女朋友在斯蒂芬八十岁寿辰时去他在西伦敦奇西克（Chiswick）的房子登门拜访，并送去了一瓶香槟和一张手制贺卡。在卢西安的追悼会上，斯蒂芬的妻子安将这张卡片拿给我，热忱地向我保证这段兄弟嫌隙已经被弥补了。一九八五年，卢西安为斯蒂芬画了一张肖像，他还特意将这幅作品放在了二〇一二年英国国家肖像馆的展览里。
