这次来上海，他是北平的首席代表，肩负着筹备全国学联的任务（后当选为第一任主席）。陆璀是“一二?九”运动中出名的学生运动女领袖。同刘江陵等一起来的还有山东代表唐守愚，他是北大历史系学生，带了钱俊瑞在南京给他写的介绍信。
第三批来的是黄敬，他的任务是组织全国各界救国联合会，也是林枫介绍来的。那时全国各界救国会同全国学生救国联合会的筹备工作是同时进行的。
接着，1936年4月，蒋南翔带着王作民的介绍信找到胡乔木。蒋南翔当时在北平被特务盯住，无法到天津找北方局带党的关系来上海。情急之中，只得采取变通办法，找尚未入党的王作民写信。王作民在1934年底与胡乔木一起被浙大除名后，即到北平转入了清华。
对北平和外地来的学生代表，临委决定由胡乔木和王翰负责联系。胡乔木和王翰热情接待他们，派人帮他们租房子住，找地方开会，向他们介绍上海党开展救亡活动的情况和内部消息。他们也把中共北方局的文件，刘少奇为贯彻瓦窑堡会议精神、指导北方局实现策略转变而写的《肃清立三路线残余——关门主义冒险主义》等文章，给胡乔木、王翰等人看。这也成为上海地下党了解当时中央路线方针的一个重要渠道。
第一、二批北平学生来上海后，胡乔木帮助他们成立了临时党支部，还创办了名为《学生呼声》的全国学联机关刊物。刊物需要稿子，特别是分析形势指明任务的稿子，时间紧，很难及时组织到。陆璀（全国学联成立后任宣传部长）知道胡乔木能写，临时急要就去找他，胡乔木总是能满足要求。因为胡乔木同北平学生代表会面的地点在开明书店，他们就以“开明”相称。胡乔木也就把“开明”作为自己的一个别名，写这方面的文章就用它署名。
胡乔木为1936年5月出版的《学生呼声》创刊号写了《今年的五四纪念》一文。文章从赞扬“五四”的光辉、指出“五四”的弱点，说到从“五四”到现在中国学生认识的提高和发展，进而指出，1936年的“五四”“摆在面前的——是战斗，是比五四时代更不可调和的战斗。”“中国的学生却将誓死维护五四的辉煌耀眼的革命传统到底！”在6月出版的《学生呼声》第二、三期合刊上，胡乔木又发表《五月底的三个惨痛纪念》一文。文章从1925年五卅惨案，讲到八年后（1933年）5月31日的中日“塘沽协定”，十年后（1935年）5月29日的“何梅协定”，期望这些“伤心往事”，“都变化成‘多难兴邦’的纪念日子”，呼唤同学们“惊醒”，唤起全国同胞决心抗日。
为了筹建好全国学联、开好成立大会，来上海进行筹备工作的学生代表会前起草了成立宣言、学联章程等文件，胡乔木给以关心和指导。全国学联和全国救国会成立后，胡乔木继续进行指导。1937年初新的临委成立以后，胡乔木分管救国会工作。
与鲁迅相呼应
一 评论萧军的小说《八月的乡村》
1936年初，文总发表宣言解散以后，活动相对较少。这时，由鲁迅作序出版的东北青年作家萧军的小说《八月的乡村》在上海产生广泛热烈的影响，同时也受到攻击。胡乔木认真阅读了这部小说，与鲁迅相呼应，发表了赞扬这部小说的评论。
鲁迅在《田军作〈八月的乡村〉序》中赞扬这部小说：“我却见过几种说述关于东三省被占的事情的小说。这《八月的乡村》，即是很好的一部。”可是，这书首先不容于“‘我们’之中的‘他们’”。当时混迹于左翼阵营中的张春桥，化名“狄克”，以“执行自我批判为名”，在1936年3月15日上海《大晚报》副刊《火炬》上发表《我们要执行自我批判》，贬薄《八月的乡村》，攻击鲁迅，说萧军的这部《八月的乡村》“里面有些还不真实”，“技巧上，内容上，都有许多问题在”，并说什么“田军不该早早地从东北回来”。
