在廉洁自律方面，罗瑞卿堪称是公安系统的楷模，他的秘书罗家祯回忆：
罗瑞卿同志1949年6月从军队到中央军委公安部任职，1950年住宅迁至南池子缎库后巷甲1。这是一个独门小院，罗家住楼房七间，另三间为办公、会客、餐厅。院内的附属房为秘书和公勤人员居住，他家人口多，一个孩子已工作，独立生活，七个孩子上学，一个烈士子女(邓发之女)也在上学，五个亲属，加上他们两口子，最多时有16口人。1953年实行工薪制，他是行政四级，月薪400元。他又是公安军司令员，大军区级，本可拿军队较高薪金，但他以主要工作在公安部为由，坚持拿地方工资。他的夫人郝治平行政十二级，月薪200元，全家每月生活开支及学费、服装和日杂开支，所剩无几。他常穿有补丁的内衣，孩子们的衣服多是大的穿过小的穿。他从未接受过组织上的特殊照顾，也从未接收过部属的馈赠。他喜欢戏剧，常自费到剧场观剧。他为人热情，常自费请熟识的同事到饭店吃饭。他有一个妹妹在四川老家，偶尔亦给些经济支援，但对她提出安排子女工作的要求，坚决拒绝。他到外地考察工作时，关照秘书要付饭费、按标准吃，莫要特殊化。可以说，他家的生活是一般常人的生活水平。文革中，他家两次遭红卫兵抄家，所抄实物开有三联单，现款和存款总计不过2000元，没有抄到违禁和贵重物品。当时中央专案领导人问我他家有什么金银财宝?我说他家确确实实没有金银财宝和古玩字画，亦没有豪华家具和衣物，这位领导人表示十分惊奇。
罗瑞卿对党中央、毛主席的指示一向坚决贯彻，不打折扣。中共中央作出开展"三反"运动的决定后，罗瑞卿立即布置在公安系统传达贯彻。就在此时，罗瑞卿得悉当时的中南局公安部部长有严重腐败行为，便亲自到武汉了解情况。这位部长是公安保卫战线的老将，是罗瑞卿的老部下，平时工作是有成绩的。但是进入武汉大城市以后，喜欢跳舞玩乐，搞小金库，公费吃喝，乱搞男女关系。罗瑞卿听了中南局负责人的介绍，深感问题严重，同中南局领导研究后一致决定，对他严肃处理，撤职并给予党纪处分。
罗瑞卿的秘书罗家祯曾在这位部长领导下工作多年，对他所犯错误深为惋惜。在处理过程中，这位部长不好意思去见罗瑞卿，便找到罗家祯，沉痛表示悔过。罗家祯认为，他虽然错误严重，但已有认识，还作了深刻检讨，处理似可以从宽，便找到罗瑞卿，委婉地表示了自己的意见。罗瑞卿立刻严肃地对罗家祯说："早在进城之前，毛泽东就一再告诫全党要戒骄戒躁，艰苦朴素，尤其是警惕敌人的糖衣炮弹袭击。他身为党和政府的高级干部，不仅没有带个好头，反而带了腐败的头，必须从严处理，不能姑息。"
从武汉回来，罗瑞卿愈加坚定了这样一个认识："三害"已严重侵蚀了一部分公安干警，"三害"不除，公安队伍就无法保持纯洁，战斗力也将逐渐丧失。于是，罗瑞卿接连采取三项措施，推动公安部机关和全国公安系统"三反"运动的开展：一是领导以身作则，要求公安部和各级公安系统的领导干部都要在群众大会上表示决心，作出自我检讨或反省，为群众撑腰。二是"搬石头"。对于自身不干净、既不主动交代又怕发动群众的干部，立即调职或撤职；对于压制民主的干部，停止其工作。三是加强监督。各级公安机关都要成立节约检查委员会，对落后单位，督促其尽快赶上来。
