陈独秀当选中央局书记后，不宜继续留在广东政府任职，于9月中旬返回上海，开始全力以赴主持中共中央的领导工作，没想到却与马林产生分歧。
马林认为，“第三国际是全世界共产主义运动的总部，各国共产党都是第三国际的支部，中共的工作方针、计划应在第三国际的统一领导之下进行”。
陈独秀则认为，“中国共产党尚在幼年时期，一切工作尚未开展，似无必要戴上第三国际的帽子，中国的革命有中国的国情”。加上马林以共产国际代表的身份居高临下，盛气凌人，令陈独秀心中十分不快。
尤其马林在未经陈独秀同意的情况下，私自派张太雷赴日本联络有关事宜，完全不把陈独秀这个书记放在眼里。当陈独秀返沪后听了张国焘等人对此事的汇报，气得公开表示，绝不与马林见面，并打算向共产国际要求撤换马林的职务。
然而，陈独秀回沪不久，便引起了法租界巡捕房的注意。10月4日下午2时左右，陈独秀正在二楼休息，高君曼与来访的杨明斋、包惠僧、柯庆施三人在一楼玩牌，突然有几名“白相人”闯入住宅，嚷嚷着要买《新青年》。高君曼见他们可能是要闹事，好言劝说：“这里不卖《新青年》，陈先生也不在家，你们还是去别处看看吧。”
来人竟绕过高君曼，三步并作两步直奔墙角堆放《新青年》的地方，大声说：“这不是有吗，明明就在卖"
陈独秀被楼下声音惊醒，仔细一听不对劲，忙轻手轻脚下楼，打算从后门逃走。不料后门处早有人把守，陈独秀被堵了回来。接着巡捕房的汽车开到门口，陈独秀、高君曼和来访的三名客人全部被送到法租界巡捕房。
陈独秀被捕后，马林积极营救，花重金请来当时上海滩赫赫有名的法国律师巴和为陈独秀辩护。10月26日，公审公堂对陈独秀一案作出判决：“搜获书籍虽多，尚无激烈言论。惟查出《新青年》有违前次堂谕，判罚一百元了案”。
陈独秀获释后，得知马林设法营救，非常感动，不久主动拜访马林，表示拥护共产国际，马林则表示在中国的一切工作由中央领导，两人达成谅解，握手言和。但好景不长，1922年4月马林从南方考察归来，陈独秀登门拜访时，两人就国共合作问题再生龃龉。当时马林正在起草给共产国际执行局的报告，见到陈独秀，马林兴致勃勃地说：
“这次南方之行收获甚大，关于中国运动及前景，在上海我听到的都是消极的，在南方我却看到卓有成效的工作。”
陈独秀听后不由得为之一怔，想起半年前马林派包惠僧南下广州接陈回沪前曾指出：陈独秀作为中国共产党的书记，不应在资产阶级政府里做官，国际上没有这样的先例。如今却对这个资产阶级政府大加赞赏，认为孙中山、陈炯明在南方所做的一切，正是中国革命所不可缺少的，中国共产党诞生得太早了！
“在这种情况下，共产党应尽快与国民党合作。”马林坚决地说。
“怎么合作呢？”
陈独秀不想再与马林发生不快，尽可能表现得平静。但马林还是从陈独秀的目光中，看到了抵触情绪，于是用尽可能轻松的口气说：
“我建议，共产党以加入国民党的方式，与国民党彻底合作。”
“加入？”陈独秀原本性格狷急，这时候再也控制不住了，愤愤地说，“你不过是看了一个广东省，而且是个表面！国民党内部四分五裂，勾心斗角，联合军阀，勾结土匪，最善于投机取巧，争权夺利。”
正因为陈独秀对国民党以及其前身革命党人抱有成见，因而他早年拒绝参加同盟会，也没有参加辛亥革命。马林对陈独秀激烈的反应大为震惊，认为陈独秀对国民党抱有成见，太过偏激。随后就此问题征求上海、北京、广州、武汉、长沙等地党内人士的意见，对共产党加入国民党大都持反对意见。
