他遭到大会批，小会斗。
他回忆说：
“毛主席教导我们帮助党整风，要‘知无不言，言无不尽，言者无罪，闻者足戒’。我有什么错？不知哪位如黑松林里突然出现的‘剪径’者，鼻孔里‘哼’了一声说：什么言者无罪，言就是行动，你已经有了行动，怎么无罪？我反驳说：言就是行动，毛主席从没说过这样的话。
“我当时确是孤陋寡闻，不知道‘言就是行动’典出何处，事后听说这是郭沫若这位名人的‘言即行动’的名言。中共上海市委书记柯庆施，就是据这句‘名言’来指导反右斗争的。”
他被打成“右派分子”之后，在家中发生的一个小插曲，是那样的感人：
我素知妻子最疼孩子，从不用打作教育孩子的办法，即使孩子有了错，也只是对孩子讲明道理，改正错误、不要再犯，更不会让孩子一人在楼下哭泣而不予理睬。我一边叫茜茜跟着我，一边把咪咪抱着边上楼边说：好孩子是不哭的。我们去向妈妈讲道理，为什么要打挂红领巾的孩子。
我走进卧室，眼前的情景将我愕住了：妻子靠在沙发上低头沉思，眼眶也含着晶莹泪珠。我惊诧地坐在她身旁，轻声地说：“蓉（妻名素蓉，生肖属猴，蓉是我对她的爱称），怎么你打了咪咪，自己也在哭？”同时咪咪从我怀抱中下地来紧偎在我身旁。妻仍低头不语。
经我再三说：“蓉，我知道你从不打孩子，这次打她，是不是咪咪过分淘气了。”咪咪听到我这样说，像受到更大委屈，抽咽得更厉害，断断续续地说：“爸……爸，我没……没淘气，我要唱歌，妈妈不许我唱。老师教的歌，我唱不好，就得不到五分。”我说：“爸爸教你唱，保证得五分。”咪咪的小脸呈现出希望的喜悦。妻子用不耐烦的语气说：“我就不许她唱这支歌。”
“什么歌呀？”我问。
“社会主义好。”妻答。
我说：“社会主义是好嘛。大人也在唱，孩子要唱，用不着打她。”
妻子用略带埋怨但仍含柔情蜜意的音调说：“唉！小牛，你知道这支歌词中的‘帝国主义夹着尾巴逃跑了’已改为‘右派分子夹着尾巴逃跑了’吗？我叫这小东西不要唱，爸爸听到会难过的。她偏不听话，还要唱。”
妻子说着说着，她的泪珠竟克制不住一滴滴落下来。这时我感到袭击我的是妻子对我体贴入微的蜜情深爱，我也情不自禁地紧偎着她饮泣起来。孩子们张大着小眼望到爸爸妈妈相互饮泣，用手绢互擦泪水。咪咪反而止住哭声拉着妹妹紧紧靠着妻和我，拉着我和妻的衣角说：“爸爸、妈妈不要哭了，我和妹妹都不哭了。我一定听妈妈的话，不唱歌了。”
他不仅被打成“右派分子”，而且他的历史被颠倒，居然成了“历史反革命”！
这样，他在1958年被上海黄浦公安局逮捕入狱，押送安徽劳改。作为“右派”加“历史反革命”的“双料分子”的他，蒙受了双重的屈辱。
他直至1976年才回到上海，1980年终于平反昭雪。
他在1996年9月15日给我的信中，深刻地说：
雨果在《悲惨世界》里说：“当一个人心中充满了黑暗，罪恶便从黑暗里滋长起来。有罪的并不是犯罪的人，而是那制造黑暗的人。”回顾我的人生历程，我心中充满的不是黑暗而是光明，然而却遭遇妻离家破、骨肉分离的不应遭遇的厄运。难道犯罪的是那制造光明的人？这在我思维逻辑上弄不通……
他心胸豁达、乐观，走过风雨人生，依然健康长寿。2013年，101岁的他，仍然每天读书看报，看电视新闻，关心国家大事。
在我看来，他简直是蒋介石女婿陆久之先生的“拷贝”，他俩都从事中共秘密工作而功勋卓著，又都蒙受不白之冤，却又长命百岁。就连他与陆久之先生写给我的信，都是那样字有风骨，可谓字如其人。
