三娘也没有什么文化，却性情乖巧，加上一连生了几个儿子，丈夫便宠爱之至，号“桂林一枝室主人”，并渐渐冷落了何氏。何氏长期被遗忘在冷僻的后院，实际过着分居的孤单生活，脾气越来越坏。幼小的林徽因随母亲在冷清的后院，常常感到悲伤和困惑。梁从诫这么说他的母亲林徽因：“她爱父亲，却恨他对自己母亲的无情；她爱自己的母亲，却又恨她不争气；她以长姊真挚的感情，爱着几个异母的弟妹，然而，那个半封建家庭中扭曲了的人际关系却在精神上深深地伤害过她。”
生活并不总是阳光明媚，徽因的生活蒙上了一层阴影。三娘接连生了四个儿子和一个女儿，在有着传统的重男轻女观念的林长民那里，三娘和她的孩子们赢得了他的欢心。他们住在明媚宽敞的前院，这里充满了孩子们快乐的喧闹。徽因和母亲则住在后边一个较小的院子里。前院有弟弟妹妹们的欢笑吵闹声，也有父亲买给三娘的很多稀奇古怪的物品。徽因很小的时候就清楚，父亲不喜欢母亲。母亲经常背着人流眼泪，她的心也很苦。徽因只要去过前院，回来后就会被母亲数落。她数落前院也抱怨丈夫，一边哭，一边感叹自己命苦，哭死掉的小女儿。
徽因的母亲对林长民这第二个妾满怀嫉妒，而林长民又毫不掩饰对程氏的偏爱，这更使徽因的母亲受不了。多愁善感的徽因被夹在中间。她对母亲愤怒的悄悄话表示同情，同时又爱她的父亲，她喜欢同父异母的弟弟妹妹，可是她讨厌他们在一起时那无尽的吵闹和苦恼。
她是一个早熟的孩子，她的早熟可能使家中的亲戚把她当成了一个成人，她因此而失去了她的童年。父亲的归来一定使她很高兴，而她那敏捷、聪慧、多愁善感的性格也一定使父亲对她倍加喜爱。也可能是在上海的那些年使他们越来越亲近了。林徽因的早熟，除了由于她的聪慧，主要应该归于几乎是遭遗弃的母亲给她心理蒙上的阴影。虽然她深得父亲以及其他长辈的宠爱，但是，每次回到冷落的后院，面对母亲阴沉怨愤的神情，她不得不过早地体会世态的炎凉。这些都根植在徽因的记忆里，对她的性格也产生了深远的影响，直接影响着她日后的人生抉择。
12岁的徽因落落大方，因为从小体弱多病，所以看上去很瘦，但却亭亭玉立，纤细柔美，越来越清秀美丽，并且非常懂事。这个时候的她就已经是一个聪明、有主见、能帮助料理家务的孩子了。林长民感觉她特别贴心，当然也就对她更多了一些体贴和关爱。林家人都说，徽因是父亲最喜爱的孩子。
