“四人帮”曾感叹：“我们手中只有笔杆子，没有枪杆子！”
“四人帮”很难从叶剑英手中夺得军队的指挥权，便在上海搞“第二武装集团”──民兵。这样，在1976年，上海民兵指挥部已经拥有30个师、7个独立团、两个高炮营，实力相当可观。在毛泽东去世之后，王洪文曾经去上海，要求上海的“第二武装集团”加强训练，作好“拉出去”的准备。
在拘捕“四人帮”之后，解决上海问题便成为当务之急。10月7日清早，华国锋和叶剑英商量之后，决定让汪东兴出面，打电话给中共上海市委书记马天水和上海警备区司令员周纯麟，要他们当天赶往北京开会。
这通知如此局促，使马天水感到有点蹊跷。他打电话给张春桥、姚文元，想摸摸情况，电话没有人接。给王洪文打电话，也没有人接。马天水又给北京的“四人帮”的“帮友”们去电话，也都没有人接。马天水意识到情况不妙。
终于，马天水拨通《人民日报》鲁瑛的电话。当马天水问他北京的情况时，他只说了一句“没有什么事”就把电话挂断了。
当天下午，马天水满腹狐疑，和周纯麟一起飞往北京。
马天水一到北京京西宾馆，便被软禁起来，而周纯麟则被接往李先念那里，因为周纯麟曾经当过李先念的警卫员。当周纯麟明白发生了什么事，马上表示拥护中共中央政治局的决定，表示上海警备区听党中央指挥。
这天，上海的“四人帮”党羽们惶惶不安。当他们得知“四人帮”被拘捕的消息，决定要“大干”：“拉出民兵来，打一个礼拜不行，打五天，打三天也好，让全世界都知道。”
10月9日，上海民兵指挥部召集10个区、5个直属民兵师负责人开会，进行部署。
这天，在北京经过“打招呼”的马天水，在口头上表示拥护打倒“四人帮”。晚上，他奉命打电话给中共上海市委另两位书记徐景贤和王秀珍。
10月10日下午，徐景贤和王秀珍不得不飞往北京。
11日晚十时，中共中央政治局委员们在玉泉山九号楼接见马天水、周纯麟、徐景贤、王秀珍。这时，徐景贤和王秀珍也不得不在口头上表示拥护打倒“四人帮”。
10月12日，从上海方面传来消息，那里的“四人帮”余党准备发表《告全市、全国人民书》，提出了“还我江青”、“还我春桥”、“还我文元”、“还我洪文”的口号，要“决一死战”。
华国锋和叶剑英决定放马天水、徐景贤、王秀珍回上海，表示“中央对你们几位是寄予希望的”。
10月13日上午11时，马天水、徐景贤、王秀珍和周纯麟同机回到了上海。他们先是来到东湖招待所──原先的中共中央华东局的招待所，向中共上海市委一些负责人作了传达。
当“四人帮”的一些“小兄弟”得知粉碎“四人帮”的消息，心如刀绞。1980年12月13日《工人日报》的报道这样描述：“黄涛躺在沙发里，像抽羊痫疯似地抖动；汪湘君哭得伤心异常，一把鼻涕一把眼泪；陈阿大、叶昌明抱头呜咽，如丧考妣……”
10月13日下午3时，马天水、徐景贤、王秀珍在上海召开了市委扩大会议，传达了中共中央的决定。这样，中共上海市委的委员们以及各方面的负责人明白了北京发生了什么事情，知道了“四人帮”怎么被打倒，也就制止了上海的武装叛乱。
