瞿秋白四岁时，1903年7月，在湖北做官的叔祖父瞿赓甫去世了。赓甫的家眷带着他的灵柩回到常州八桂堂。这样，在同年冬天，瞿稚彬只得同母亲庄氏、妻子金衡玉和年幼的儿子瞿秋白，从八桂堂又重新搬回了星聚堂。
星聚堂也是一个大宅，从大门到后宅的九皋楼共有五进房屋。九皋楼是座转楼，上下共十间，中间六间为正楼，两旁的称作厢楼。正楼和厢楼之间有一块用石板铺面的小天井，瞿稚彬一家搬来后，就住在正楼的底层。瞿稚彬夫妇住一间，瞿稚彬的画室占一间，瞿秋白和弟弟们住一间。
1904年，瞿秋白五岁，到星聚堂舅父庄怡亭坐馆的庄氏书馆里读书。书房设在九皋楼前进西侧的一个大房里。这进房屋共有七间，居中三间叫做新厅，新厅西边一间就是书房。这间房在墙上开了扇单门，北墙上是六扇格子窗，窗下放一张不大的四方木台，这就是庄怡亭先生的书案。私塾里总共有八九个学生，他们的座位全排在庄先生书案的右侧，面东而坐。瞿秋白的座位紧挨着庄先生的书案，是一张有两个抽屉的长方桌。桌面上放着笔墨纸砚和蒙童读本，桌后是一张老式的靠椅。
书房的前面有一方不大的天井，是孩子们活动的园地。天井里面种植着月季、秋葵等各种各样的花木，都是孩子们自己栽种的。每当休息的时候，孩子们用喷水壶给花木浇水，或者培土和整枝。在书房窗下离墙几步远的地方，瞿秋白手植了一株桂花，每天他都按时来浇水。
庄怡亭先生年纪很轻，只有二十岁，还是第一年坐馆。他身体瘦弱，脸上有几点麻子，但不失严师风度，对塾生的要求是相当严格的，除了规定的休息时间外，塾生们不得随便走出书房，否则要受到责罚。
书馆的功课，一开始是识字，接着读蒙学课本如《百家姓》、《千字文》、《神童诗》等。瞿秋白在入学之前母亲曾经教他识字，所以先生一教，很快就学会了，有的字先生还没有教，他已经会读会写了。瞿秋白入塾第一天，庄先生教了八个字：“聪明伶俐，青云直上”。这是瞿秋白在家中就学会了的字。放学回家，他跑到母亲面前，一边写给母亲看，一边得意地说：“早已晓得了。”
每天早上，瞿秋白穿一件洗得洁净的半新的蓝色竹布长衫，有时也罩上一件玄色的旧马褂，背一个暗绿色的书包走进教室。他给先生施礼后，就在自己的座位上正襟危坐，静悄悄地读书。读熟了就背诵给庄先生听，背对了，先生在书上首用红笔勾一下。接着就是听庄先生讲书，讲过以后又是读书，从下午一直要读到晚上放学。读书的时候，塾生们放开喉咙，学着庄先生的声调，读得抑扬顿挫，畅快热烈。这时，书声琅琅，九皋楼里的人都听到了。
私塾读书只有暑假、寒假，平时不休星期日。每逢农历的重要节气，如清明、端阳、中秋、冬至等，照例是要放假的。这时，塾生们要给庄先生送肉、鱼、蛋、糕等礼物，或者恭请庄先生到自己家里饮宴一番，这叫作“请先生”。
每逢放暑假的时候，瞿秋白就要随母亲到乡下的大岸上村外祖母家去住几天，或者到贤庄的大姑母家去玩几天。贤庄，对于瞿秋白的少年时代的生活和思想的影响是深刻的。这一点，我们将在下面详细叙述。
星聚堂的夏天相当热。吃过晚饭，瞿秋白常常和邻居小朋友们在一起，围坐在天井里的圆桌旁纳凉。母亲金衡玉坐在孩子们身边，摇着一把扇子，一边替他们赶蚊子，一边给他们讲故事。有时候她叫大家猜谜语，或者教瞿秋白背诵唐诗。孩子们最喜欢听《聊斋》的故事，母亲常给他们讲《鼠戏》、《狐嫁女》、《种梨》等等。瞿秋白非常喜欢听《种梨》。这是一篇讽刺吝啬的卖梨人的故事。一位神奇的老道士用仙法种梨，片刻就把那个高价卖梨的吝啬人的一车梨分给大家吃掉了。瞿秋白和小朋友们都喜欢这位豪侠仗义的老道士，而厌恶那个贪婪的卖梨人。此外，对于《聊斋》里那个闻歌起舞献艺的老鼠精，能够千里之外摄取金杯的狐狸，他们也听得津津有味。除了《聊斋》故事，母亲还常常给孩子们讲一些别的故事。一次，她讲《孔雀东南飞》故事，瞿秋白听完说：“焦仲卿刘兰芝夫妻感情那么好，为什么婆婆不要她？真是太可恶，恶婆婆！”还有一次，母亲讲《木兰辞》故事，瞿秋白天真地问道：“木兰是个女子，怎么会装扮成男子，在军中十多年人家认她不出来？我不相信。”常州是太平天国占领过的地方，后来被清朝和外国反动军队联合攻破，金衡玉也常常讲些太平天国的故事。当时，太平天国起义者的形象虽然往往被人们丑化了，但是，瞿秋白对那些英勇反抗清朝统治，为穷苦百姓拼死打天下的“长毛”，却寄予了深切的同情和崇高的敬意。
