根据自己调查研究得出的结论，伍修权认为被当做“修正主义”来批判的南斯拉夫党总的看来还是遵循马克思主义的，而这与当时中共的看法是相违背的，因而他遭到了党内批评。此时，王稼祥（对外联络部部长）建议伍修权到中联部工作，得到中央批准。于是伍修权开始了继外交部八年后的第二个八年：中联部八年。
十年浩劫，给中联部副部长伍修权带来了厄运，开始了他的第三个八年——“牛棚”八年。回想起噩梦中的情景，人们往往会不寒而栗，而一旦噩梦是真实存在的，就值得回忆。回忆是为了不能忘却，以诫后世。
中联部贴出了一张大字报，署名伍修权。这张大字报不但不解决问题，反而使他成了“跳出来的敌人”
1966年8月18日，天安门城楼上，毛主席容光焕发，满面春风，笑容可掬地俯视自己的“孩子们”。城楼下，是红卫兵的海洋，成千上万的革命小将怀着无比崇敬的心情山呼“万岁”。这是毛主席等中央领导人第一次检阅红卫兵。开始以后，一些红卫兵向毛主席和林彪以及陈伯达、康生等“文化大革命”的头面人物一一献上了红袖标，热闹气氛令人惊叹。
此时，检阅者中间休息，有两个人正被冷落在一旁，他们在交谈。这两个人，一个是刘少奇，另一个就是伍修权。
刘少奇：“我把北大聂元梓的报告反复地看了多遍，实在看不出它的意义为什么比巴黎公社宣言还要重大。”
伍修权：“我还没有认真地看，我回去再找来好好读它几遍，看看到底有什么意义。”
他们并非在有预谋地商量什么，当时，伍修权看到刘少奇被冷落在一旁。便过去与他聊聊。伍修权是一个善良而正直的人，也许正是这种美好的品格在并不美好的年代里给他带来了不幸。
“文化大革命”之初，伍修权一直忙于党的对外联络工作，并未过分注意运动的发展。他以为“文化大革命”无非是文化界的事，与自己工作的关系并不是很大。而且，他多年来从事国际上“反修”斗争，应该是没什么问题的。
刘少奇、邓小平等领导人被认为犯了“错误”，从主要领导岗位上被拉下来，而林彪、康生等人却成为风云人物的现实，使伍修权很不理解。毛主席一张《炮打司令部》，使伍修权意识到：这场运动非同寻常。
但是，他仍然没有想到，厄运会降临到他的头上。
“是祸躲不过”，这句谚语是中国人发明的，自然有其道理，尤其在中国，如果你被卷入一场斗争中，就别想安安稳稳地生活。“文化大革命”的触角是无所不至的，既然最高领导人下定决心，就不是一个两个人能够抵制得了的。“文化大革命”形势发展迅速，令人始料未及。
中联部并没有神灵的庇护，它也会不例外地成为“革命”的目标。此时，康生已将自己的得意门生王力从部里调到了“中央文革小组”，中联部内也成立了“文化革命委员会”作为领导运动的权力机构。王力和康生等人的插手，使中联部受到了“优惠”，一场严峻的斗争在部里渐渐拉开帷幕。
“文化革命委员会”的成立，使伍修权等中联部里的领导人徒有其名，不但不能支配部里的工作，连自身的命运也遭到威胁了。
分管为外国党培训干部教学工作的副部长许立，是最早成为“斗争对象”的。他已60多岁，还有高血压，而这丝毫不能引起造反派的同情，仍然狠批狠斗。这引起了伍修权的不满，他说：“《十六条》中不是说了吗，‘要文斗，不要武斗’。许立同志已60多岁了，再过30年，你们也60岁了，如果那时你们也遭到同样的情况，就会知道应该怎么办了。”
无意中“引火烧身”。伍修权的这句话成了把柄，被造反派说成“宣扬资产阶级人道主义，反对阶级斗争观念，压制了造反派的革命热情和革命精神”，伍修权终于也成为被批判的“靶子”。
部里开始贴出攻击伍修权的大字报了，内容都是工作中的问题。
“他在外事活动中，和外国人谈话没有大力宣传毛泽东思想，却大讲自己的经历。”
“他同苏联修正主义分子接触时，大讲友好多，坚持斗争少。”
诸如此类的话，是人们费尽心机搜罗出来的。抓住一句平常的话，然后上纲上线，甚至无中生有，都是当时“斗争”的手段。对于这些，伍修权并不十分在意，他相信“为人不做亏心事，半夜不怕鬼敲门”，自认为没有做对不起党和人民的事，也就不怕人们对自己的揭发批判。
倘若真的如那句俗语所说，那么造反派们也显得太无能了。既然把斗争的矛头指向了你，你就会像上了“黑名单”的暗杀对象一样，无法逃避追击。
首先是做检讨。诚实、正直而又无限忠于党和人民的伍修权又充分体现出他的品格来。他决心用毛泽东思想来对照检查自己，诚心诚意地按照群众的要求去做。1967年1月12日，他在部里的群众大会上做了第一次检讨：
“我自‘文化大革命’开始，一直处于很不理解，很不认真，很不得力的状态。
