斯密指出了所得税对个人隐私的入侵式调查，也就是说，他对所得税提出的结论是基于当时的信息技术存在的问题。当社会上第一次开始征收所得税时，他就一直在等待民众抱怨或抗议的出现。因为当时没有人对居民收入进行备案，所以也就无法根据任何可靠的书面记录证实个人收入情况，纳税人必须把自己的家底都放在公众的监督下，接受难堪的调查。
斯密提出，可以用房产税取代所得税，因为个人所拥有的房产都陈列在大街上，任何一个行人都随时可见：“就一般而论，恐怕没有哪一种费用或消费比房租更能反映一个人的奢俭。”
约翰·穆勒曾于1848年提出过类似的观点，当时英国已经开始征收所得税：
相对于按照估算的收入征收所得税，按照房产征税更公平，也更简便，其具备的优势能够使以前难以进行的容差自动变得很简洁，而且也不再像以前那样难以计算准确。假设房租能够反映个人的支付能力，那么其证实的不是这个人实际拥有的财产，而是这个人自认为能支付多少金钱。
正是由于这种信息来源相对便利，所以政府长期以来都以此作为财政收入的主要来源之一，直到现在也是如此。不幸的是，正如亚当·斯密在1776年就已经注意到的那样，以房产为基准征税存在一个明显的缺陷。“房租税如定得太高，大部分人会竭力避免，以较小房屋为满足，而把大部分费用移转于其他方面。”③历史上对所得税的实验都折射出社会在和这种房产税进行抗争，当然还有一些其他定义比较狭隘的税种，如果能以涵盖面较广的所得计算办法作为征税的基础信息，或许就不会存在这种问题。
全球范围内具有里程碑意义的所得税法案出现在1799年的英国，当时英国国会颁行了一套累进式税制，不仅有各种减免措施，而且最高纳税等级的税率仅为10%。但是这套税制被民众看作“一种丑恶、压迫人民并且侵犯隐私的政治机器，也是丑恶税收的最显著特征”，最终在1816年被迫废止。
1799年及随后的几十年中，信息技术手段相对原始，而且成本高昂。尽管当时已经有了纸张和印刷机，但是这些设备使用成本极高，所以也就缺乏书面的记录，再加上存储和调阅记录的方式方法比较原始，所以英国政府只能靠街坊邻居对个人的观察作为征税的依据，这也就使得这种税收变成了一种刺探个人隐私的工具。英国在1842年重新开始计征所得税，但是最高税率仅3%。
