3月，张国焘回到上海，即向中共中央传达此次会议精神。7月16日，中国共产党第二次全国代表大会在上海成都路一所房子里召开，张国焘当选中共中央执行委员会委员兼组织部长。此次会议讨论通过了与国民党建立民主联合战线的决议案。
8月初，马林从莫斯科返回上海。早在年初，马林提出共产党与国民党实行“党内合作”的设想，遭到陈独秀等人否定后，便返回莫斯科寻求共产国际支持，如今他带着“尚方宝剑”得意而归。
为了落实共产国际的指示，在马林的建议下，8月20日，陈独秀、李大钊、蔡和森、张国焘、高君宇五位中央新执委，与马林、张太雷在西湖举行会议。
会上，大多数执委对党内合作的方式提出质疑，张国焘与蔡和森则对党内合作表示了坚决的反对意见，令马林心怀嫉恨。陈独秀、李大钊等人虽持反对意见，但由于此种合作方式是共产国际决定的，不得不服从，最终提出有条件加入国民党，并获得通过。
会后，李大钊、陈独秀、蔡和森、张太雷先后由孙中山主盟，加入国民党；张国焘也在国民党人张继的主持下，于9月加入国民党。但此时，由于他在西湖会议上反对“党内合作”的强硬态度，致使他与马林原本和谐的关系发生变化，马林甚至提出党内出现小组织问题，矛头直指张国焘，使张国焘从此对马林加强了戒备。
1923年2月1日，京汉铁路总工会在郑州举行成立大会，张国焘受中央指派，于元月底前往郑州出席指导。在大会遭到军阀破坏后，张国焘参加领导了震惊中外的京汉铁路工人大罢工。
“二七惨案”发生后，总工会为了保存实力，下令复工。尽管罢工失败了，但此次罢工仍被认为是中国工人运动“第一个高潮”中影响最大的一次罢工。而张国焘受失败的影响，一度情绪不佳。
