1927年秋季开学，江苏省立第八中学与江苏省立第五师范合并为省立扬州中学。当时，扬州中学高中是文理分科的，胡乔木选的是理科。编在普通高中一年级乙班。他在同班同学中间留下很好的印象。六七十年后，老同学乐怡然回忆当时的情景和印象说：“在班上他的年龄最小，但显得比大他两三岁的同学要成熟得多。他温文尔雅，沉默寡言，学习努力，成绩优良，又谦逊有礼，追求进步，深得老师们的喜爱和同学们的钦佩，常被推举作为本班代表和学校或外班打交道。”
高中三年，胡乔木虽然读的是理科，但对文学的兴趣有增无减。他在自传中说：“以后第八中学改组为扬州中学，我仍在该校读书。我对于文学仍旧继续钻研，但阅读范围是更广泛了。那时我入了理科，因此对自然科学也下了些工夫，但是对正课却不甚热心。”
那时，扬州中学有个好的做法，在教室一角放置一个书柜，从校图书馆借一些书来，供同学自由取阅，称为图书角。胡乔木自觉地担当班上图书角管理员的角色。图书角存书一百多本，大部分是文学名著，也有少量自然科学和社会科学方面的书。过一段时间到图书馆选书、换书，是胡乔木非常乐意做的一件事。
胡乔木在高中阶段阅读了大量世界文学名著，从古典主义、浪漫主义、自然主义、批判现实主义到现代主义直到社会主义现实主义的作家作品，可说是兼容并蓄，无所不读，而且有颇为深刻的见解。
寒假、暑假期间，他常把《中国青年》《创造月刊》和一些文学作品如《三个叛逆的女性》《桃色的云》《托尔斯泰短篇小说集》等带回家里，给两个妹妹看。他对中国古典诗词的喜爱有增无减。他挑选了一百首古诗，工楷抄写，要两个妹妹熟读。他还收集了一些民间歌谣，让她们背诵。他期望她们能同自己一样，关心人民的疾苦，有较高的文化素养。有一年暑假，胡乔木还给小妹文新和她的同学袁玉清讲解唐朝诗人李商隐的几首“无题”诗（“相见时难别亦难”“锦瑟无端五十弦”等）。这些隐晦深奥、别有寄托的诗篇，经胡乔木一讲，显得精致隽永，情意深长。
胡乔木还是课外文艺活动的热心参加者，在课外活动组织，如文艺、诗歌、戏剧、音乐等研究会里，他不是主要负责人便是积极分子。
1929年，胡乔木已经读高三了，家乡遭遇水灾。父亲在城里续修盐城县志，没有什么收入，地租又收不上来。家里经济拮据，实在无法同时供给达新、鼎新、穗新、文新兄妹四个读书。这时，大哥达新在交通大学读土木工程快要毕业，父亲决定保证重点，专供达新读完大学，鼎新和两个读中学的妹妹暂时休学。
扬州中学的老师和同学得知胡鼎新即将休学，都很同情，找校长想办法。校长周厚枢，教高三化学。他很帮忙，让胡乔木在学校半工半读——替他批改同级学生的化学实验报告，给一些津贴。这样，胡乔木得以继续在扬中的学业。
胡乔木节俭，所得报酬除支付学费和生活开销之外还有节余。他用积攒下来的钱支持已经休学的妹妹文新，另一个妹妹穗新也得到半工半读的机会，文新在哥姐的支持下也复学了。
胡乔木家有诗教，进扬州中学读书不久，就因擅长诗文而得到“神童”的美誉。在高中时，有一次语文作业是自由命题，不限文体。这种方式给了胡乔木这样的学生施展才华的机会。胡乔木写了一首五言古诗。人称“淮南才子”的语文教师张煦侯老先生一字一韵未改，拿到班上一边朗诵，一边击节赞赏，并对这首诗的“夏木变凝碧，秋虫鸣繁钟”一联加了“二句入古”的批语。
