大约是出于禀性吧，同别的孩子不同，胡乔木从小就以读书为乐。他常常就着小油灯夜读，夏天为避蚊虫叮咬，就躲到蚊帐里看书。一次，河对面南张本村演大戏，锣鼓声传过来，大家都乘渡船过河去看。小朋友们来邀他，他不去；母亲叫他，他也不去。他情愿坐在家里看书。父亲书橱里有的是书，童年时代胡乔木就把爱看的书看了个遍：中国古典诗词，是他童年时代之所爱；新文学也读了不少。村上人都说这孩子是“书痴”。1940年，胡乔木在自传中说：“在小学时已看过鲁迅的《呐喊》，以后接着又看鲁迅的《热风》，郭沫若的《女神》以及《创造》《洪水》等各种文学刊物。”他还涉猎外国作品。1983年，他在中宣部会上讲：“王尔德，也不能说没有一定的社会观点。他的童话《快乐王子集》，我还是小学生时代读的，直到现在还忘不了它对我的
影响。”
不过，胡乔木不是那种死读书的孩子。他富有悟性，善于思考，喜欢创造。有一次，胡乔木读了题为《七夕》的为牛郎织女抱不平的诗，写了一篇《读〈七夕〉》的作文，对诗中意蕴大加发挥。语文老师张持白（因其博学、体胖，外号“张大肚子”）看后，拿到课堂上边读边评，称赞不已。
胡乔木对社会活动也很热心。古稀之年，同他妹妹方铭（胡文新）谈起小学时参加的活动，仍旧历历如在目前。他说：
小学时期在村上游行过两次。一次是纪念“五七”国耻反对袁世凯跟日本人签订二十一条。还有一次是反对数学老师体罚。老师因为一个学生调皮，破坏课堂秩序，就用戒尺打全班学生的手心。由此激起大家的气愤，全班学生冲出校门在村上游行，高呼“打倒×××老师”。在家长的责备下，老师只好引咎辞职。后来老师答应以后不再打骂学生，还是复职了。不然他就没有饭碗了。
在小学时，还曾为了反对妇女缠足，班上每人挂了一块铜牌子，上面的字是：不娶缠足女子。
胡乔木从小喜欢唱歌。他在75岁高龄时同文化部、音乐家协会负责人谈话，说：“我小学时唱过一首《爱我中华》，是赵元任根据秧歌调编的。这一点很可以佩服。现在要唱很容易。那时是四万万同胞，改成十万万同胞。现在要是有一个地方演唱，我一定去听。还有中国爱国的音乐家黄自，那首《旗正飘飘》，我非常爱听，可惜现在没有人提倡。”
夏天晚上乘凉，也是很开心的时刻，在胡乔木心中留下了美好的记忆。家家户户的大人小孩，都来到屋前的土场上。孩子们舒服地躺在小凉床上，看满天繁星，听大人讲各种各样故事。多少年后，他在谈论民间文学工作的时候，还回忆起儿时的情景，说：
民间故事究竟在什么情况下面流传的，这也是一个很有兴趣的问题。我在儿童时就听说过很多故事。我那时能听到很多民间故事，可是我的孩子就听不到了。那时候，老年人肚子里的故事很多，到晚上，一讲两个钟头，讲得很有兴味，不觉疲乏。
胡乔木生性温和文静，头脑聪明而体格较弱。祖母爱怜他，每每利用晚上熬粥时灶膛里留下的余烬，煨一小瓦罐干饭给他吃。他从小俭朴，常穿一件黑粗布褂子，而且是大哥穿旧了的。打补丁的衣服，他也穿，并不嫌弃。
胡乔木在鞍湖小学从初小（四年）到高小（三年），一共读了七年。在初肇共和的时代背景下，接受家庭与学校的教育，打下了深厚的文化知识基础。
扬州中学六年
1924年夏，胡乔木从本村的高等小学毕业，以良好成绩考入江苏省扬州中学的前身——省立第八中学。那时，盐城还没有好的中学，从高等小学堂毕业以后，要继续读书，只有西去淮阴，或者南下扬州、南京。胡乔木的大哥胡达新，早已在扬州八中上学，这时要进高中了。胡乔木进扬州八中读书，实在是轻车熟路。
