4月10日，蒋介石又宣布解散共产党人占优势的国民革命军总政治部。
同一天，上海青帮头子黄金荣等通电反共，要其党羽“揭竿为旗，斩木为兵”，消灭共产党。
陈独秀也有些着急了。
于是中共中央决定，派李立三、陈延年、聂荣臻，同共产国际代表苏联人维辛斯基紧急赶往上海，弄清情况，并同周恩来一起，领导上海的反蒋斗争。
聂荣臻的任务是协助周恩来处理武装斗争方面的问题。
待聂荣臻一行到达南京，震撼全中国乃至全世界的“四一二”反革命政变已经发生，大批共产党员和革命群众倒卧在血泊之中。
李立三、聂荣臻等于4月13日晚上到了上海。
到了赵世炎家里，了解了初步情况，以后又通过赵世炎，找到了周恩来。
到上海后，聂荣臻遵照中央和周恩来的指示，立即着手在工人纠察队中进行工作。
在同工人的接触中，他逐步知道了“四一二”反革命政变的经过情形。
在事变中，数以万计的游行群众，被打死一百多人，伤者不计其数。
马路被鲜血染红，惨绝人寰。
随后蒋介石在全上海疯狂地搜捕、屠杀共产党员和革命群众的行动全面展开，上海总工会被封闭，上海的中共各级党组织全部被迫转入秘密状态。
4月16日至18日，由周恩来、李立三、陈延年、赵世炎等组成的特务委员会召开会议。
周恩来在会上发言，主张共产党联合国民党左派，先讨伐蒋介石，再进行北伐。
聂荣臻完全同意周恩来的意见。
但陈独秀对此没有表态，仍在谋求同蒋介石妥协。
4月下旬到5月上旬，聂荣臻住在颜昌颐家里，协助周恩来，将幸存的工人纠察队员转入秘密状态，隐藏好枪支弹药，设法营救被捕人员，对牺牲和被捕的工人纠察队家属进行救济。
5月中旬，聂荣臻同周恩来一起，秘密乘轮船溯江而上，回到了武汉。
“四一二”反革命政变，使聂荣臻对蒋介石的认识，从封建把头、反动政客，上升为反革命阴谋家。
蒋介石两手都拿着刀，凶狠残暴，对待这样的敌人，革命者也只有拿起刀，走武装斗争的道路，才能使中国革命免遭厄运。
这就是在中国大革命的困境中，聂荣臻得出的结论。
5月25日，中共中央决定成立军事部，由周恩来任部长。
湖北区委军委并入军事部，聂荣臻任周恩来的助手，同王一飞、颜昌颐、欧阳钦等一起，协助周恩来，对军队进行组织、联络和政治工作，指导武汉工人纠察队和广东、湖南两地的农民运动。
