发生在身边的这些事情，显然感动过赫尔岑公爵，他在书中写道：“我们经常谈论仆人，特别是农奴的道德严重败坏。的确，严格地说，他们的行为不足为训，他们的精神堕落也很明显，只要看他们对一切都逆来顺受，很少反抗，就知道了。”（《往事与随想》第一卷，人民文学出版社，1998，P23）但他并不认为贵族就比奴仆高尚多少，“贵族与奴仆的区别如此微不足道，正如他们的名称之相似一样”（俄语中贵族和奴仆的发音相近）。他指出：“剥削者把仆人和奴隶描摹成放荡的野兽，是为了转移别人的视线，扼杀自己良心的呼声。我们不见得比老百姓高明，只是表现方式比较温和，更善于掩盖自己的私心杂念罢了。我们的欲望轻易就能得到满足，经常不受约束，因此看起来不那么粗野、那么刺眼。”（《往事与随想》第一卷，P26）
应该说，赫尔岑对贵族的道德批判是深刻的，但是，在他身上发生的一些事情，使人对他这种批判的真诚产生怀疑。
1834年，在莫斯科克里姆林宫管理处供职的赫尔岑，因为参与了奥加辽夫等人的学习小组被拘押，并在九个月后被流放到彼尔姆省（在同批犯人中属于较轻的）。流放期间，赫尔岑始终保持贵族的身份——还是省级政府机关的官员。在到达彼尔姆的第二天，他和省政府的门卫一起去租房子，在以意想不到的便宜价格谈下了一个大房子，正准备离开的时候，房东老太婆叫住了他：“我忘了问你，你自己养奶牛不养？”出于贵族的本能，赫尔岑几乎是神经质地做出反应：“对不起，我从来不养奶牛！”尽管这时候他已经是一个流放犯，老太婆的问题还是“使我吃惊，我甚至感到了侮辱”。作为贵族公爵的他立即走人，连房东“那我可以供应你新鲜奶油”的话都不做回答。一路上，他“一直觉得不自在”，心里还在嘀咕：“我到了什么地方，像个什么样子，居然有人怀疑我可能养奶牛”（《往事与随想》第一卷，P242）。一句“你自己养奶牛不养”的问话，就像泼到他身上的粪水，让他有了洗不干净的玷污感。赫尔岑被贵族角色的同化可谓深矣。
在《往事与随想》一书中，赫氏两次重复了这个细节。在该书第358页，他写道：“对彼尔姆，我印象不深，我只为租房子接触过一位主妇，她问我要不要菜园、自己养不养奶牛！从这个问题，我就可怕地觉察到，我的地位一落千丈。”看得出，这件小事对他的刺激有多大，养奶牛这样的劳动对于他是何等的侮辱和伤害，不然他不会那么耿耿于怀。由此可见他对自己作为人上之人的贵族身份是何等珍重，对农民和奴仆这样的阶层是何等蔑视。他反抗专制制度的依据是什么？不就是人道主义吗？但他的人道主义看来只能在贵族范围内来加以理解，作为人道主义理想内涵的平等、自由、博爱等，不知不觉中已经加入了阶级的限制。很难设想，当革命把公爵变成一个平民的时候，他的立场会发生怎样的变化。
另外，还有一件事情，让我闻到了赫尔岑身上散发的腐朽气息。在这件事情上，赫尔岑甚至显得有些卑鄙了。
1840年初，已经在弗拉基米尔结婚生育的八品文官赫尔岑回到莫斯科，后又因对警察机关出言不逊被流放到诺夫哥罗德省当参议。
