我祖上是由贫农而富农，到我祖父已成了地主，中了举人。我父亲中了进士，由京官到直隶服官，直到民国四年后退休，又创办银行，寓居于天津租界内。所以我这个家庭，完全是封建时代由地主而官僚长成的，充分表现骄奢堕落的形象，有很多污浊罪恶。我是在这个家庭里生长，习染，也不能不有了罪恶。

在我七岁的时候，我父亲已与我订了婚，就是我的原配李氏。她父这时是候补道，我父亲也是候补道，这就是门当户对的婚姻。到我十九岁结婚，结婚之后，家庭里才知道我的原配李氏夙有疾病（是没有月经），不能生育，并染上鸦片烟瘾。封建旧家庭的传统思想是：不孝有三，无后为大。到我二十四岁，我父亲就催促我纳妾，是年我与邓韵绮（在解放北京前与我脱离关系，并一次给予赡养，后邓韵绮向最高法院诉请再给赡养费，被批驳）同居，次年生一女，不久夭殇。邓韵绮久不生育，又染上鸦片烟瘾。到我二十七岁，我兄弟（我叔父之子）病故，两门只我一子，我父亲催我再纳妾，并指示以生育为目的，不论才貌，要身体肥壮。由盐业银行副经理朱虞生介绍了王韵缃。本来介绍的有两人，王韵缃是其中之一，因为朱虞生的同居与王韵缃之母是朋友，那一个就没叫她与我见面，力促王韵缃与我的成功。是年就与王韵缃实行同居，于我三十一岁时生了一子。这时我叔父的同居杨氏也生一子。一个大家庭共居一处，大家都是享受懒惰，有鸦片烟瘾的就有十人之多。

我从三十岁研究文艺，对于这样的家庭感觉痛苦，尤其厌恶租界，所以我常在北京。到民国二十二年，我父亲去世，我父亲的同居孙善卿庶母，交给我很多的遗产，但是，还是有不够这大家庭开支之虞。我看了这时国民党的政局现象，我又做银行知事，知道经济前途不可乐观，对我的家庭还是这样排场阔绰下去是没有办法的。我就将大部分盐业银行股票交给王韵缃，使她试验管理家政，因为儿子是她生的。并且，我对她说，经济前途是很危险，股票的利息是靠不住的，必须紧缩开支，家庭要平民化，譬如在楼上由梯子一级一级的下到平地，总比从楼上坠到平地好。但是她不能了解我的话，而且她早已染上鸦片烟瘾，每天下午四点钟才起床，没有管理家政的能力。我把股票交给她，是为供给家庭开支，股票的印鉴还在我这里，不是给她个人的，而她会误认到儿子是她生的，交给她的股票我不能再拿走。至于这个家庭开支不够，她没能力把它节俭下来，还要我想办法。我到三十九岁，在上海与我的爱人潘素相遇，我们两方情愿结为配偶。我是连香烟都不吸的，他们都吸大烟，我起床的时候是他们睡觉的时候，我睡觉时候是他们打牌吸烟的时候。我感觉到苦闷而有这种举动。

父亲十五六时由爷爷包办娶了安徽亳州一女子，她父亲姓李，曾任安徽督军。父亲的这位原配夫人我称为娘。爷爷给父亲办的婚礼排场很豪华，父亲的结婚礼服类似袁世凯就任总统宣誓时的元帅服，是黑呢子的，领口、袖口和大襟都镶有一指多宽的金线，肩上有金线纺织的肩章，裤缝处也镶有一指多宽的金线。我娘穿的是清末民初显贵家庭的妇女常穿的那种绣花短袄和盖到脚面的长裙。这套礼服我娘一直保存在她的小箱子里留作纪念，一直到她1939年去世后一两年，我妈妈整理她的遗物时才发现。

我娘纯粹是封建社会的牺牲品，她生在清代高官的家庭里，从小缠足，虽然后来放了，但仍然是小脚，她没有受过多少教育，从小受父母的宠爱，总有人侍候，然后受父母之命嫁给我父亲。她在嫁给我父亲之前两人并没有什么交往，更谈不上什么感情，在嫁给我父亲之后虽然对婚姻抱着幸福的希望（她一直保留着和我父亲结婚时的婚礼服就是证明），但事与愿违。我父亲是在不愿意、不甘心的情况下和她结合的，她没有让父亲欣赏、爱的条件，也不能侍候、照顾我父亲的生活，所以她和我父亲一直没有建立起真正的感情，而且结婚多年也没有生儿育女。

当时，在天津家里楼房二楼东边的两大间和一个亭子间是我娘的房间，只有保姆和她同住。我父亲回天津住在我妈妈的屋子里，很少、甚至几乎不去看她，我从小到大，几乎没有看见过父亲去她屋里坐一段时间或和她说一些话。当然她不快乐，身体也不好，整天不出屋门，连按礼节每日应该下楼给我爷爷奶奶请安的事也免去了。我爷爷奶奶很体谅她，全家也尊重她，都称她为少奶奶，但很少有人到她屋里看她，只有我妈妈常去看看她，了解她的需要，照顾她的生活，我也要按照礼节去给她请安。她很喜欢我，常常专门给我留些吃的。

她就这样了却了一生，死于1939年，当时天津闹水灾，我和父亲都在北京。她的丧事由我妈妈负责料理，我被叫回天津为她打幡当孝子，父亲没有回天津。

除了原配夫人外，我父亲先后又娶了我大妈邓韵绮、我妈王韵缃和我三妈潘素。

我大妈原是北京的京韵大鼓艺人，韵绮的名字是父亲给起的。当时我父亲经常在北京，先是按照我爷爷的安排在官场作官，后来又在盐业银行任董事之职。父亲在北京时住在西四牌楼东大拐棒胡同内弓弦胡同1号的宅子里，那是我爷爷在北京作官时置办的产业。那个年代，一些富家子弟都是在大家庭里已有妻妾的情况下，再另外买一所房子娶一个女人，成立一个外家，我父亲也不例外。

我大妈当年是唱得好的京韵大鼓艺人，我上大学时她已经四五十岁了，仍断不了哼唱几句。她的长相不算娇艳，也不太善于打扮自己，穿着绸缎衣装也不比别人更美，当年主要是唱红了的。她到底是出身贫寒，所以很会料理家庭生活，她能把我父亲在北京的生活安排料理得很好，北京家里的管家和厨师也能按照我父亲的需要随时侍候，做出令我父亲满意的丰盛菜肴。

我大妈虽然不是很圆滑，但是也能处理与各方人士的关系，当时在北京的各种场合都是她陪伴着我父亲，和我父亲来往密切的人都知道她。当年也是她陪伴我父亲去各地游山玩水，如在中华书局出版的《张伯驹词集》中，第11页的《鹧鸪天》和第13页的《秋霁》两首词中提到的韵绮就是我的大妈。这两首词是我父亲带着大妈和朋友一起游玩时，偶有感触诗兴大发时所作。那时期，我父亲经常带着大妈游山玩水并和朋友聚会，即使后来父亲调任上海盐业银行任职期间，每到春暖之后、秋凉之前，父亲仍然经常会回到北京避暑，和在北京的文人雅士聚会，吟诗填词作画度曲，这时都是我大妈陪伴左右。

我妈妈是苏州人，我姥爷从家乡外出做工在北京安了家。我父亲经过大中银行职员的介绍看中了我妈妈，就在北池子一带弄了一套小院，给我姥姥一笔钱，娶了我妈。他给我妈起名叫王韵缃，不久以后我妈妈就怀孕了，我爷爷奶奶早就盼望有个孙子，知道我妈妈怀孕后，就把我妈接到天津家里与我爷爷奶奶同住。妈妈生下我之后，爷爷奶奶为了让妈妈照顾好我，也为他们能看着我长大，就没有再让我妈回北京，而是留在了天津家里，留在了爷爷奶奶的跟前。

在我们的大家庭里，爷爷奶奶都是有规矩和礼节的人。我妈妈每天早上都要去我爷爷奶奶和六爷爷、六奶奶屋里请安，因为爷爷非常宠爱我这个孙子，看到小孙子就特别高兴，妈常带我在爷爷奶奶的屋里，一方面按照我爷爷奶奶的要求抚养教育我，另一方面也方便侍候我爷爷奶奶。我妈不仅尊敬我爷爷奶奶，对家里的其他长辈也是每日请安，对我娘也十分尊重。由于我妈性格温顺，又生下我这个爷爷奶奶非常宠爱的孙子，于是我爷爷奶奶对她有点另眼看待，有点宠爱，但我妈从不认为自己了不起，更不会贬低别人，不计较名分地位，也不争财产，因此，我爷爷更认为我妈妈为人忠厚老实，可以依赖。这样我爷爷把管家的大事交给了我妈妈。

当时我们家大大小小的开支都是靠我爷爷手中的近三百万盐业银行股票的股息，我爷爷把这些股票交给了我妈，每年有股息由我妈妈在银行存取支付全家的一切生活开支。

我妈妈在天津家里安排好长辈、孩子生活的同时，她惦念我父亲的生活。我父亲当时在北京，上海盐业银行的俸禄有限，但生活开支比较大，我妈妈常把盐业银行的股息转账给他，以保证他的开支。我父亲逢年过节回天津，也都是我妈妈给他安排一切。我妈妈一有时间也带着我去北京看望父亲。

上世纪二十年代末，我父亲被委派去上海任盐业银行总管理处总稽核时，我妈妈准备随我父亲去上海，但是我爷爷奶奶不同意，他们不允许我妈妈带我离开他们去上海，也不允许我妈妈只身去上海，又怕留我在家没有妈妈的照顾。再说我爷爷已经把银行股票交给我妈妈管理，由她管理全家的家务和一切收支，也不允许我妈妈离去，所以我妈妈没有能够随我父亲去上海。