后来因为皇甫庄的房屋租期已满，外婆和小舅父回到安桥头老家，两个外甥跟随大舅父移居小皋埠。
小皋埠是大舅父的岳家。他的岳父名叫秦秋渔，是一个举人，诗画都做得好。四卷的《娱园诗存》，大部分是他的朋友们吟咏他的花园“娱园”的作品。娱园里长满了草，显得荒凉。但比起周家的百草园，它也自有其奇妙的所在。院子里是一个不算大的水池子，池边是一间单面开着门窗的房子，上面挂着匾额：“潭水山房”。两兄弟觉得这构造很有意思，因为这是家里所没有的。
这里的孩子很多，大舅家有儿子佩绅、女儿珠，小舅家有四个女儿，琴、意、林和昭，琴与樟寿年龄相当。表兄妹们平时见面机会并不多，现在可以经常在一起游玩，自有许多乐趣。
娱园的主人是秦少渔，也就是大舅父的内弟，孩子们都叫他“友舅舅”。他也喜欢画画，樟寿算得了知己，从此就不再摹写绣像，专跟他学绘画了。
秦少渔藏有很多小说，多为石印铅印。他本人看过后就随手扔在一间小套房里，樟寿可以到那里自由翻看。不过因为扔得满地都是，找起来比较费事，六册八册一部的小说，凑齐了很难。但樟寿很愿意把工夫用在这里。他从中得到不少益处。以前在家只见过普通的几种小说，如《三国演义》、《西游记》、《镜花缘》、《封神榜》之类，在这里，他看到《红楼梦》和各种续《红楼梦》的书，还有各种各样的侠义小说。
游娱园、看小说，自然是快乐的。但也有不方便的时候。年龄大一些的樟寿就能感觉得到，住的时间长了，便是很近的亲戚也有不耐烦的地方。大概是嫌他们兄弟像乞食者似的赖在这里，还有不知礼貌的孩子竟直接说出来了。
无论是挂在脸上，还是脱口说出，老二不解事，便不以为然，老大就敏锐地感受到寄人篱下的屈辱了。
他们在外住了大约半年，第二年夏天，因为父母觉得孩子们已经不可能因科场案受牵累，就把两兄弟接回了家。
新台门笼罩在一种哀痛、没落的氛围中，人人无精打采。大家心里都明白，周家从此必须习惯在屈辱和困苦中度日。
老大和老二继续读书。三兄弟都培养了买书的爱好。老大买的最多的还是画谱，陆续买了《海上名人画谱》、《点石斋丛画》、《阜长画谱》、《椒石画谱》、《百将图》、《古今名人画谱》、《天下名山图咏》、《梅岭百鸟画谱》，还有四集的《芥子园画谱》。
兄弟们对图书极为珍爱，容不得折痕和污点。每逢晚上，便到了孩子们读书用功的时候。老大知道节俭，为了省灯油，他就到母亲的房里，把桌子擦得干干净净的，拿出他心爱的藏书来翻看。他看书之前一定要检查一下手指是不是干净，翻书的时候也是用指头拿住书页折缝上端有墨线的地方，绝对不用指甲在书上刮过去，使书的一角翘起来。几个弟弟可以在一旁看，但不允许向书上摸，弄脏了他是要生气的。因为木箱容易生虫，母亲特意将床头的一只红皮箱腾出来给他存书。老大对书籍简直有洁癖，有时买了书回来，看到有一页上字不清或者纸不够白净，他不嫌路远，拿了书去店里调换。有一次书店的老板被找得不耐烦了，讽刺他说：“这书的纸比大姑娘的脸还白呢。”他很生气，从此再也不去那家书店买书。
绍兴有不少刻书铺，工人们在里面刻字刻图，老大喜欢进去看这手艺，久而久之，自己也养成了动手的习惯和精细的鉴赏力。他包书包得好，让两个兄弟钦佩不已，就是他从书坊工人那里学来的。后来因为财力有限，兄弟们经常买些旧书。一般旧书封面总是有些脏破，需要改换，或者拆开重新装订，这一套手艺老大也很精通。
家庭的经济条件日益衰败下去。安顿了祖父在杭州的生活，家底也基本上空了。身体衰弱的周伯宜，想到前途一片黑暗，就越发地没有好脾气。家人都看着他的脸色，不敢惹他生气，尤其是母亲，更加体贴父亲的心情。甲午年又逢大考，母亲及早把父亲的考篮收起来，把考试用的作文范本《经策统纂》也藏起来，她怕丈夫看了伤心。
