李立三能诗善文，深得程潜喜欢。1919年春，程潜资助李立三进京，进入法文专修馆。这年秋天，李立三便到法国留学。1921年冬，他从法国回来，在上海加入中国共产党。
李立三加入中共之后，从事工运。1922年，他领导了安源路矿工人大罢工，1923年任中共武汉区委书记，翌年任中共上海区委职委会书记。1925年他在上海一家工厂参加选举，李隆郅三字笔画太多，工人不易写，刘少奇建议他改名。正巧迎面站着三个工人，刘少奇说：“就叫李三立吧！”他思索了一下说：
[1] 斯诺：《西行漫记》，第121~123页，三联书店1979年版。“叫李立三吧！”从此他竟以“李立三”这名字传世。这年，他任上海总工会委员长，赴苏出席赤色职工国际大会。1927年，李立三任中共中央工人部部长，全国总工会驻汉办事处主任，然后又兼任中共湖北区委书记。那时，向忠发是他的部下。后来，他参加了南昌起义，旋即又任中共广东省委书记。
李立三在蔡和森遭贬之后当即取而代之。不过，1928年11月上旬，周恩来从苏联回到上海，李立三在党内的威望不及周恩来，中共的领导工作实际上由周恩来主持。11月9日，中共中央政治局常委会决定，由周恩来起草新的中央的工作计划。此后，许多中央通告、文件皆出自周恩来之手，而李立三则成为周恩来的副手，向忠发不过是名义上的领袖。向忠发、周恩来、李立三成了当时中共“三驾马车”。
“三驾马车”的局面，持续了一年多。
1929年8月下旬，中共失去了两位重要人物：政治局委员彭湃和政治局候补委员、中央军事部部长杨殷因叛徒告密，被捕牺牲。
1930年3月3日的中共中央政治局会议记录上，出现一行奇特的暗语：
冠生病入院。决：准假两月。
“冠”何人？周恩来的化名！周恩来生了什么病，要入院休病假两个月？原来，“病”是他去苏联的暗语。也就是说，政治局批准周恩来赴苏两个月，向共产国际汇报工作。
周恩来一走，李立三便成了中共的主持人。李立三原来是个性情急躁的人，由他掌舵，一下子把中共推向了“左”的航线。
李立三火暴的脾气，是颇为“著名”的。1921年冬，他和一百多位留法勤工俭学的学生被法国政府遣送回国。轮船在海上悠悠而进，为了打发时光，学生们举行围棋赛。四川队推出了陈毅，湖南队推出了李立三。李立三急于求胜，给陈毅抓住了弱处，一举击败。李立三一气，把棋子连同棋盘一起，甩进了大海！[1]此事一直在中共党内传为笑谈，因为当时在场的许多留法学生后来都加入了中国共产党。
