上海是我国最大的工业城市，是帝国主义势力对华经济侵略的中心，也是中国产业工人最集中的地方。我党建立初期，党中央一直很重视上海的工运工作。在1921年至1923年“二七”惨案前这段时间内，上海党组织在一些市区曾屡次发动纱厂工人罢工，也参加领导了海员罢工，但后来又几乎失去了与工人的所有联系，党员中只有3名工人。由于工人党员人数太少和没有成功的工运工作经验,因而这里的工运工作,一直很薄弱。李立三曾经写道：“（3月）我到达上海时，上海地委的工会工作几乎陷于停顿。当时的上海工团联合会，与警察局勾结，实际上是资产阶级的警察组织，叛卖工人的利益。”
国共合作的形成，为李立三在上海开展工运创造了良好的条件。李立三到上海以后，国民党上海执行部也成立了工人运动委员会。于右任为主任，李立三、杨之华、孙良惠等共产党员都是委员。这样，他们就可以利用公开合法的身份，对原国民党主办的一些平民教育机关和学校，经过充实和改造，逐步使之成为以工人为主要对象的真正的平民教育单位。
当时在上海担任党中央职工运动委员会书记的是上海大学校务长邓中夏。他十分重视安源工运的经验。李立三到上海以后，与邓中夏一起运用安源的经验，从创办平民学校、职工夜校入手，深入到工厂中去，同工人群众建立起密切联系。先以环球学生会和上海大学的名义成立了上宝平民教育促进会，然后用平民教育促进会的合法机关进行活动。
3月底，中共中央批准了由李立三提出的关于开展上海工会活动的计划，把上海分为7个区：杨树浦、小沙渡、浦东、闸北、虹口、南市、吴淞等。先后在每个区都创办了平民学校，附设成人工人夜校，为工会培养干部。
从4月起，李立三先进入内外棉5厂东厂当清洁工，以与工人结拜兄弟的形式，把一批工人团结在自己的周围，组织起工会。他又在在内外棉9厂外面租了一间房，成立了平民学校，这也就是沪西工人俱乐部的前身。这样，李立三逐渐在沪东、浦东、吴淞、南市、闸北、虹口等地，利用国民党左派或共产党员掌握的学校的现成课堂办起了职工夜校。除李立三外，陈独秀、瞿秋白、恽代英、杨之华、邓中夏、项英、陈延年、陈乔年等党的领导人，也经常分头到各学校讲课，找工人谈心。作为上海地区工运工作全面负责人的李立三，每星期轮流到各学校去上一次课。他以特有的敏捷的行动和极旺盛的精力，不分昼夜地奔走在上海的各个工厂区，扎扎实实地办教育搞宣传，提高工人的觉悟，逐渐把工人组织起来，并从中发展一批党团员，把党的思想工作和组织工作扎根于工人群众中。
李立三几乎每天都到半日学校里来。上课的内容，主要是结合学文化讲政治形势。李立三以亲身经历向工人介绍了安源路矿工人同资本家开展斗争的情况，讲述苏联十月革命的经过和中国革命的远景。从此，安源工人的英勇斗争，逐渐成为上海工人心目中的榜样。他们还编写歌词，用民间曲调教大家演唱。这些歌曲，像春风一样很快传到工厂工人群众之中，撒下了革命种子。工人们把到夜校去接受党的教育，说成是“到夜校去听道理”。
4月，李立三创办了《上海工人》周报，自任编辑，发行1000多份，在教育工人群众、组织工人的日常斗争、准备迎接革命新高潮方面起了很大作用。
8月，孙中山发表宣言，要求北京政府召集国民大会。李立三联合国民党市委发动大规模的群众运动支持召集国民大会，上海工人组织普遍参加。他利用孙中山来沪之机，组织1000多名工人参加欢迎游行，第一次在外国租界进行政治大游行，提出“打倒帝国主义”！“打倒军阀”！等口号，在上海市民面前显示了工人组织的政治积极性。
9月1日，他们首先在条件比较成熟的沪西小沙渡组织起由党领导的上海第一个“工友俱乐部”。李立三与邓中夏等拟订了《沪西工友俱乐部章程》共21条，规定俱乐部“由沪西工人组织之”，目的是“联络感情，交换知识，互相扶助，共谋幸福”。俱乐部设8个部：①补习学校；②讲演会；③合作社；④书报室；⑤各种游艺会；⑥储蓄会；⑦部员救济会；⑧职业介绍所。李立三与邓中夏商量，由孙良惠担任俱乐部主任，派上海大学学生刘华在这里担任教育和组织工作。“沪西工友俱乐部，是沪西工人活动的中心，党的领导同志李立三、邓中夏等经常在此开会。二月罢工就是在此筹划和组织的”。在其影响下，附近几家纱厂，也先后成立了俱乐部小组，沪东杨树浦的“工人进德会”、“吴淞工友俱乐部”等相继成立。李立三还亲自担任了“吴淞工友俱乐部”的主任。
通过以李立三为书记的上海区委职工运动委员会的艰苦工作，这些俱乐部的成立和发展，为五卅运动的兴起，作了重要的组织准备。
9月8日，南洋兄弟烟草公司资方图谋解散工会，指使工贼借故开除两名工会女工代表，激起工人一致罢工。21日，各团体议决组成南洋烟草工人罢工后援会，推举李立三、郭景仁等9人为执行委员，领导工人罢工。由于有工贼的破坏，这次罢工遭到失败，成为后来二月大罢工的一次预演。
