生长在这样的家庭里的林徽因，既是幸运的，也是不幸的。幼年的林徽因和一群表姐妹住在祖父的大院里，她喜欢和表姐妹们在一起读书玩耍。她的启蒙教育落在同住一起的大姑母身上，大姑母出嫁后依然常年住在娘家。几个女孩在一起，有的时候好得像一个人，有的时候又闹得不可开交，大姑母总是任由她们打闹。林徽因异母弟林暄曾回忆：“林徽因生长在这个书香家庭，受到严格的教育。大姑母为人忠厚和蔼，对我们姊兄弟亲胜生母。”
5岁的林徽因由大姑母林泽民授课。林徽因是旧式家族庶出的大小姐，来自族人的倾轧与磨难成为她的必修课。在失宠的母亲之外，她需另寻可倚重的亲情依靠。这位姑母弥补了林徽因母亲性格、文化方面的不足。林徽因很有灵气，大姑母经常夸奖她聪明灵秀，一起读书的几个姐妹中，徽因年龄最小，最贪玩，上课时候也不注意听讲，可是她却总是背书背得最好的。此时林徽因的天地有如祖父的庭院一般阳光灿烂。
徽因6岁的时候，出了水痘，按照老家的说法，这叫出“水珠”。她期盼着有人能来后院，不是她感觉到孤独，而是希望有更多的人知道她自己出“水珠”。她竟然不像许多孩子那样感到难忍的病痛，也不觉得这是病，她喜欢水珠这个名字，所以因为这个病多了几分骄傲和神秘。后来徽因回忆说：“当时我很喜欢那美丽的名字，忘却它是一种病，因而也觉到一种神秘的骄傲。只要人过我窗口问问出‘水珠’么？我就感到一种荣耀。”这异乎寻常的感受已显露出她天性中的艺术气质。
父亲时常在外，只得留林徽因在祖父身边。她是个聪颖的女孩子，因此深得祖父、父亲的喜爱。她是在祖父身边长大的，平时，祖父经常给她讲这样那样的故事。她6岁开始为祖父代笔，给父亲写家信，成为祖父与父亲之间的通信员。
1909年，林长民取得政治经济学的学位毕业回国。随着林长民的升迁，徽因一家由杭州搬到了上海。1912年，他们又搬家了，这次是搬到北京（在中华民国前期，北京称顺天府、京兆地方，1928年之后改名为北平，1949年北平和平解放后，9月27日更名为北京，为叙述方便，以下通称北京）去。在那里，父亲在几届政府中升迁到很高的官职。但是很长一段时间，他仍然没有儿子来继承香火。徽因母亲曾给林长民生了两个女儿，林长民对两个女儿疼爱有加，对她却十分冷淡。小女儿因病夭折后的第十年，林长民娶了年轻貌美的上海女子程桂林，林徽因叫她三娘。从此，徽因的母亲就开始过着被丈夫冷落的生活。
