伍修权还是走向了红机子电话，打到总理办公室，报告了他的情况，希望他们能派人到中联部处理一下这个严重的事件。
结果，事情并没有想象中那么好，反而引起了造反头头们的注意。他被迫带着全家，搬到一个很狭窄而且没有电话机的房子。
接着，林彪和叶群也插手了。林彪和伍修权当年一起在东北时便格格不入，此时，正是林彪报复、彻底打倒伍修权的好机会。伍修权问题同彭真连在一起了，又有一些舆论接踵而至：
“伍修权这个人很坏，阴险得很，一般人看不出来。”
“他支持彭真，每次开会他都骂娘……骂的是林总。”
“东北所有的坏事，都有他的份。”
在他们的直接的迫害和诬蔑中，伍修权终于真正遭受了大难，尝够了受打击陷害之苦。
4月8日深夜，康生亲自拟写了打倒伍修权的几条标语，发动了全面攻击。斗争中体现出了中国人罕见的效率，当夜，大街上便出现了打倒伍修权的巨幅标语。接着，北京大专院校“红太阳”和“人大三红”等造反组织成立了一个“专揪伍修权”的兵团，其规模可以想见。
“首都大专院校红代会”和“社会斗批改联络站”经过一番精心策划，专门出版了题为《伍修权罪行录》的小册子，列举了他的“滔天罪行”：
伍为李德作过翻译，后来得到彭德怀的重用，被提拔为三军团副参谋长，他早就反对毛主席了。
他把学习毛著当做茶余饭后的消遣，认为只有吃饱了肚子才可以学习毛泽东思想，这真是修正主义混蛋逻辑。
他驻南斯拉夫期间，里通外国，大搞阴谋。
面对这些措辞“激烈”的话和“充足”的证据，伍修权真是哭笑不得，可又毫无办法。人们的“智慧”一旦发挥出来，常常使人深信不疑，而当事人是有口难辩。
在造反派的“辛苦”中，伍修权的批斗审问问题逐渐“走向社会”，以达到更强烈的效果。这类批斗分为大、中、小三种形式，最大规模的有两次，一次是在体育馆内，一次是在人民大学操场上。在身体不好、烈日炎炎的情况下，伍修权忍受着精神和肉体上的双重折磨。他被迫接受无中生有的“罪状”，被迫在年轻的小将的叫骂中低下头，他失去了一名老干部的尊严，失去了与家人团聚的日子，失去了最可宝贵的自由！
深夜，伍修权躺在床上睡不着觉，他在努力回忆自己走过的路。十几岁便参加革命，在腥风血雨中为党、为国家、为人民默默工作着。他还记得第一次中弹受伤的情景，记得躲在苏联人的大车上偷偷回到祖国。解放以后，中外奔波，为党和人民付出了辛勤的汗水。记得1965年，有一次毛主席指着他对外宾说：“从苏联回来的人，他是没有反对过我的一个。”他自以为对毛主席是忠心无二，毛主席也是信任他的，而他还是被戴上“一贯反对毛主席，一贯反对毛泽东思想，一贯反对毛主席革命路线”的帽子，承受着巨大的政治压力。
何日才是尽头？难道会永远混乱下去吗？他差点崩溃了。
大概是造反派看出了伍修权的情绪不对劲，就把他关到了南小楼的一个房间里，进行“机关隔离”，这是“牛棚”生活的第二阶段了。造反派不但“细心”，而且很“辛苦”，他们轮流看守，昼夜不断人，俨然一副看守“全国通缉要犯”的样子。
如果认为这些“阶级敌人”就此而终日苦坐消磨时间，那可就错了。充满“阶级仇恨”的造反派不会让他们闲待着，而是让他们“运动运动”，清扫大字报、掏公共厕所成了伍修权的“职业”。造反派们说：“你们这些老家伙从来不劳动，这回让你尝尝滋味。”
他确实尝到了劳动的“艰辛”，清扫一批又一批的大字报，冲洗着时常堵塞的厕所，冬天劈柴火，还做一些诸如收拣乱砖头、平整土地等毫无意义却能使人劳累的活。
1968年5月3日，中联部新盖的22号楼前，一辆吉普车突然而至。车上下来三个人，一个是造反派头头，另两个是军人。他们径直来到伍修权面前（此时伍已调到此处）说：“奉中央决定，将由北京卫戍区对你实行监护。”然后两个军人绑架似的将他押上了车。
吉普车开到北京卫戍区在通县的一处军营，从此，伍修权开始了一生中唯一的一次漫长的被“监护”的生活。
原来，这又是康生的直接指示，他曾宣扬：原中联部的领导人都是坏人，坏人和叛徒比较长久地篡夺了中联部，部里叛徒特务很多，部长、副部长也垮了。他还特意说，把伍修权关起来。
在被“监护”的过程中，伍修权再一次忍受着没有阳光、没有新鲜的空气之苦，而阳光和空气，对于一个失去自由的人来说，是多么地可贵！在这里，没有可以打开的窗户，唯一可开启的房门整天关着，只有每隔一段时间的放风，才可以让他呼吸一下新鲜空气。
