10月，剧联党团书记于伶在光华大学找到在那里挂名读书的胡乔木，约他去见周扬。周扬同胡乔木谈话，说明文总发生的变故，急需重组领导班子，要胡乔木担任文总书记，把左翼各联盟的工作抓起来。周扬还向胡乔木介绍了邓洁。这样，文总党团新班子建立起来，由胡乔木任书记，邓洁、王翰为委员。这是文总党团的最后一届班子，工作了将近半年。这时，钱俊瑞也从社联编辑部调来文总工作。在此之前，1935年9月，胡乔木按周扬的意见介绍钱入党。钱俊瑞后来担任在上海的全国各界救国会党团书记。
按胡乔木的想法，文总党团书记应该由王翰担任，一是王翰参加革命早、入党也早，二是对上海情况熟。但周扬用了胡乔木，他看重胡乔木的文化修养和才能。除了前面已经说过的王作民的介绍和读到胡乔木写给妹妹的信留下了好印象之外，胡乔木到上海不久曾给周扬写过一封信，谈对曹禺的看法，认为像这样的作家可以吸收到左联中来。周扬即写了一篇论曹禺的文章，给予较高的评价。从这件事，周扬觉得胡乔木有眼光。文总书记陈处泰被捕，周扬很自然地想到用胡乔木。
胡乔木担任文总党团书记期间，主要同社联、左联、教联、语联等发生关系。社联人数最多，同社研（全称是社会科学研究会）合并后，有二三百人。胡乔木同社联的关系最密切。波兰人柴门霍夫创造的世界语和发动的世界语运动是国际性的，语联和国际语联有通讯往来。胡乔木直接领导过语联，他能够阅读世界语的出版物。语联的主要领导成员叶籁士、胡绳等成为胡乔木毕生交往的朋友。胡乔木与其他左翼文化组织则没有什么接触，他回忆说：“1935年下半年，我参加文总的领导工作时，从来没有人和我谈过电影、戏剧、音乐、美术方面的工作。音乐、美术方面的左翼组织情况，不但我不知道，恐怕邓洁、王翰都不知道。”“肯定有过左翼的新闻记者联盟，但我参加文总工作时，没有接触，也没有人向我介绍过记联的关系。”
胡乔木担任文总党团书记后，在白色恐怖笼罩的上海，坚持开展工作和斗争，大有“在泥泞中打滚，在荆棘中潜行”的精神。
事实上，胡乔木也曾多次遇到危险。在上海的生活也是十分节俭，相当艰苦的。胡乔木后来回忆说：
当时我们搞文总工作的，从早到晚都忙于接头、开会，衣食住行的条件很差。我也觉得奇怪，当时怎么没被敌人抓住。我那时只有二十四五岁，没有什么社会经验；吃饭和人力车夫坐在一起。早饭就是买个粢饭团，一路走，一路吃。照说有经验的侦探是很容易盯上我们的。
胡乔木在文总的工作是有成绩的。当时发表的一个文件上说：党团书记的被捕虽然“暂时减弱了正常的领导和密切的联系”，但是，“在各联，及参加群众斗争的群众积极拥护下，改组了新的常委会，接受了广大群众和全体同志的信赖。”“同盟所领导的各联，除少数较弱的冲破不了当前的困难，颇有每况愈下的趋势而外，其他大多数尚能独立活动，扩大了本身的组织，并且培养了提供到文总方面来，用以补充与整理各联的许多新干部。这种不倦的努力及其可观的成绩，是值得注意的。”
除了整理、扩大组织，领导各联继续开展独立活动之外，胡乔木这时做的一项主要工作是贯彻共产国际七大精神，为实行左翼文化运动方向的转变，领导制定文总和各联的新纲领。
