罗瑞卿在毛泽东身边工作十几年，这种长期相处中点滴积累起来的密切关系，为工于心计的林彪所不能及。林彪认为罗瑞卿越过他办事，“晾”了他。尽管罗瑞卿曾多次给林彪汇报与解释，但还是不能避免林彪的猜忌和不满。有一次，他对罗瑞卿说：“我们的威信不够吧？因为我们不是南昌起义的领导人。”这个“我们”当然不包括罗瑞卿，话中酸溜溜的味道，明显针对曾任南昌起义总指挥的贺龙而发，也有他担心失势于毛泽东的试探。
林彪对罗瑞卿的猜忌和不满，在1964年全军大比武的练兵运动中发展得更加严重了。罗瑞卿主持的全军大比武搞得轰轰烈烈，毛泽东和其他党和国家领导人观摩了几个军区的比武汇报表演，给予高度评价，推动了全军的练兵热潮。大比武是贺龙、叶剑英领导与支持的，客观上对林彪的空头政治是个否定。林彪感到被冷落了。他在一张卡片上记下了对罗瑞卿的恼火，“大捧别人，大跟别人，回京后根本不见面。……让他做绝”，“当作又一彭黄也”。
林彪对付大比武的武器是“突出政治”。1964年底，林彪接连发表两次讲话，批评大比武冲击了政治。1964年12月29日，林彪紧急召见总政领导人，提出“‘四个第一’不落实的问题”，并说这是“带有全军性的问题”。他强调指出，军事训练“不应冲击政治，相反，政治可以冲击一切”。中央军委把林彪的讲话整理成《林彪同志关于当前部队工作的指示》，毛泽东批示，“完全同意，照此执行”。文件下发全军，大比武停止。
罗瑞卿并非反对突出政治，只是作为实际工作者，他反对的是落实不到实际工作中去的空头政治。他接受不了林彪对大比武的指责，认为“1964年军事训练工作是建国以来最好的一年”。针对林彪“政治可以冲击一切”，他说，“这里是指必要的，不能乱冲一气。”针对林彪“压一压军事训练”，他说，“不要一下偏到这边，一下又偏到那边”。针对林彪的“突出政治”，他说，“如果单纯把政治搞好，别的都不好，垮下来，这种政治恐怕不能算政治好，是空头政治，哪有这种政治！”林彪对罗瑞卿的这些话大为不满，给他扣上反林和反对突出政治的帽子。
林彪对罗瑞卿猜忌的还有接班人的问题。1964年毛泽东提出培养接班人的问题，要求领导干部“每个人都要准备接班人，还要有三线接班人”。罗瑞卿在就军队贯彻执行干部新老交替工作向林彪汇报时，讲到有些老干部应当主动“让贤”。林彪认定是要他让贤、让权，对罗恨之入骨，决意要把罗瑞卿搞掉。
1965年，林彪显得格外焦躁。他批评罗瑞卿通气不够，并就通气作了五条规定。罗瑞卿按规定去汇报工作时，林彪常常以有病为由，推托不见。若罗有时直接去了，林彪又说对他搞突然袭击。若罗一段时间不去，林彪则说是封锁他。罗如果在请示完毛泽东或其他军委副主席再给林汇报，林彪就不满地说：“既然请示过了，何必再问我？”若真拿一些问题请示他，林彪又说：“这点小事也来找我，不是存心折磨我这个病人吗？”这是对罗瑞卿施加压力，想使罗就范。
林彪还经常说些莫明其妙的话。一次他曾对罗瑞卿说：“你们可以放心呀，我林彪就是犯了错误，也不会连累你们，连我的妻子儿女也不会连累。”这似乎表露出林彪对自己权力地位的担心与由此产生的紧张不安。
林彪对罗瑞卿压服无效，越发感到罗瑞卿对他的权力地位构成了威胁，遂采取了恶毒的诬告手段来打倒罗瑞卿。叶群在中间起了火上浇油的极恶劣作用。
1965年5月，林彪手里就有了海军政治部主任张秀川等写的“揭发”罗瑞卿的材料。11月27日，林彪给李作鹏打电话，要李作鹏写一个近年来海军两种思想斗争的情况，要求在四个问题上写明罗瑞卿的态度。李作鹏立即召集海军副司令员王宏坤和张秀川合作写了七千多字的材料，诬蔑罗瑞卿对海军“怀有巨大的阴谋”，“有不可告人的目的”。
