12月16日，米夫突然来到上海，准备为中共召开六届四中全会。一到上海，米夫首先找向忠发谈话，对他施加压力。向忠发这才恍然大悟，王明如此嚣张，原来有米夫撑腰。得知共产国际决心扶持王明，向忠发彻底屈服，在会议上，向忠发老老实实地表示道：
“中央政治局有改选的必要。因我工作能力不够，同时在‘立三路线’时代我应负很重大的责任，对我个人，希望允许我到下层去做工作。我的态度亦有很不好的地方，亦可影响到政治上去，并且我的病体亦不能担任这一工作。”
事实上，共产国际并没有打算将枪口对准向忠发，批判李立三不点名地捎带上政治局其他成员，不过是为了对向忠发等人敢与共产国际叫板的行为加以震慑。由于向忠发是工人出身，共产国际对工人的态度是，不仅“决不让他们滚蛋”，而且连屁股也不用打，因而没人理会向忠发的请辞，甚至没人对他出言指责，尽管所有人都知道“立三路线”的形成与向忠发这个“炮筒子”有直接关系，但所有人都将矛头对准了李立三。
于是，向忠发得以安全过关，不但没有受到惩罚，反而被米夫称赞具有忠于国际路线、勇于承认错误和坦诚对待同志的高贵品质，是中共党内实行工人阶级领导的最好体现。
在1931年1月7日召开的六届四中全会上，李立三毫无悬念地被开除政治局；与“立三路线”毫无关系的瞿秋白，则成为三中全会“调和路线”的错误责任人，被排除出政治局；在六届三中全会刚刚补选为中央委员与政治局候补委员、与“立三路线”不曾“擦肩”的李维汉，莫名其妙地成了支持“立三路线”的“其他政治局委员”，也离开了政治局。
唯独“立三路线”的始作俑者向忠发稳坐钓鱼台。向忠发虽然保住了总书记的职位，但已经被米夫、王明的政治手腕所压服，已然锐气全无。他已经了解了王明的势力，因此将宝押在王明身上，提出自己需要一名帮手，而这个帮手非王明莫属，身为列席代表的王明，得以顺利补选政治局常委。
此后，向忠发的脾气收敛不少，对待王明显得唯唯诺诺，即便王明公然顶撞，也是将火气咽进肚子。自此，王明成为了掌控实权的中央领导。
但四中全会以后，向忠发还是做了两件足以影响中共历史的大事。
第一件是阻止张国焘到江西苏区担任苏区中央局书记。四中全会结束后，共产国际远东局为加强中央苏区的领导，提议让刚刚从苏联回国、四中全会当选政治局常委委员的张国焘出任苏区中央局书记。对此，向忠发极力反对，他对远东局负责人称：
“国焘同志长期不在国内，对国内情况不熟悉，现在中央苏区工作刚刚走上正轨，派国焘同志去担任领导职务，无疑是不恰当的。”
向忠发提议让张国焘留在中央工作。在向忠发的坚持下，远东局改变了主意。后来张国焘去鄂豫皖根据地担任分局书记，独断专行，大搞“一言堂”，从这个情况来看，向忠发此举，毫无疑问为毛泽东除去了一个具有极大威胁的政治对手。
