张甲洲是黑龙江省巴彦县人，1931年上半年从北大转来清华，是一位干练的共产党员。他性格豪爽，长得高大健壮，大家都叫他“张大个”。他同胡乔木的温雅瘦弱适成对比，但两人成为好朋友，互相配合，相得益彰。在胡乔木鼎力协助下，一所平民夜校很快就办了起来。夜校除吸收校内职工和职工子弟外，还吸收校外的农民和农民子弟。按照不同文化程度，夜校分了好几个班。胡乔木除自己承担教学任务外，还请一些同学教课，后来成为著名学者的季羡林（时为外语系学生）就是其中的
一个。
通过民众夜校，不但传授了文化知识，传播了革命思想，还团结了校内外的工友、农友，发展了组织。胡乔木在夜校学员中发展了好几个团员。后来，在周围农村建立了两个团支部，在清华校内职工中也建立了一个团支部。地下党团员同清华的门卫也建立了良好的关系。1932年，张甲洲就是得到清华门卫报警，得知当局即将来抓捕他的消息后逃走的。
胡乔木除了办民众夜校外，还是革命刊物《北方青年》的主要撰稿人之一。《北方青年》是清华大学党支部用“朝曦社”名义出版的刊物。李乐光主编，殷大钧负责出版发行事务。刊物在学校印刷厂印刷，出版后分赠进步同学，一部分送到市内东安市场等地的报刊摊上代销，同时还办理邮购。刊物发行到保定、天津、邯郸等地，在华北青年中颇有影响。在敌人眼皮底下作战，刊物带点灰色，题目与正文往往不合，作者用假名且常常变换。胡乔木在上面发表过不少文章，其中有一篇题目是《中国的赤祸问题》，实际讲的是全国各地苏维埃区域扩大的情况。老同学回忆：“胡乔木写作极快，随时随地能写出一篇文章来。一次，他正盘腿坐在草地上看书，有人持稿纸约他写一篇短评。他叫来人坐下等一等，取过稿纸，用书垫着，放在膝盖上，写将起来。一会儿就写完，交来人带走。”
在清华，胡乔木尽其所能地开展各种革命活动。季羡林以亲身经历作过这样的忆述：
我认识乔木是在清华大学，……当时他正在从事反国民党的地下活动（后来他告诉我，他当时还不是党员）。他创办了一个工友子弟夜校，约我去上课。我确实也去上了课，就在那一座门外嵌着“清华学堂”的高大的楼房内。有一天夜里，他摸黑坐到我的床头上，劝我参加革命活动。我虽然痛恶国民党，但我觉悟低，又怕担风险，所以，尽管他苦口婆心，反复劝说，我这一块顽石愣是不点头。我仿佛看到他的眼睛在黑暗中闪光。最后，听他叹了一口气，离开了我的房间。早晨，在盥洗室中我们的脸盆里，往往能发现革命的传单，是手抄油印的。我们心里都明白，这是从哪里来的。但是没有一个人向学校领导去报告。
在这种地下的秘密活动过程中，一点点细小的疏漏，都会惹出极大的麻烦。
有一次，在不经意间出了事。那时清华学生盛行在小山坡上搭帐篷睡觉，胡乔木野营露宿时丢了一条毯子，向学校警卫报告了。白天，胡乔木去香山同慈幼院团支部书记会面。这时一位农村团支部书记到清华找胡乔木。警卫刚听过报警，怀疑来者是个小偷，问他话时又吞吞吐吐，于是把他捆起来打。那个书记忍受不了，把团的活动一五一十说了出来。胡乔木在校外，事后才知出事。
不幸中之大幸，当时的代理校长翁文灏是个自由主义者，采取息事宁人态度。过了几天，他把胡乔木找去谈话，对胡乔木说：“学校好比一个戏台，谁都可以到这个戏台上来演戏，但是你们不能把这个戏台烧掉。烧掉了戏台，那就什么戏也演不成了。”说完拿出一张名单，交给胡乔木，说：“最好你跟你们的组织讲一讲，只要你们不破坏学校，学校也不为难你们。”
不过，到了1931年暑假，胡乔木还是被北平市公安局以“共党主要分子”密令缉拿了。
