自“三反”“五反”后，王世襄被开除出故宫博物院，1957 年，王世襄再次受到冲击，他的学术道路也逐渐被边缘化。文物的大雅之堂对他紧闭，但是他却在生活中发现了诸多偏门中的学问，并填补了多个研究领域的空白。
除却《髹饰录解说》的写作和对明清家具的研究，王世襄在20 世纪五六十年代还油印刊出了《画学汇编》《清代匠作则例汇编》《雕刻集影》等。这些书籍的出版都是他一个人刻蜡纸、油印、整理成册的。付出的艰辛可想而知。
史部政书类中收有各种各样的“则例”，其中和建筑、工艺有关的，统称为“匠作则例”，多归入该类的考工部。“则”就是法则、准则或规则，“例”就是先例、成例或定例。而“匠作则例”就是把已完成的建筑和已制成的器物，开列其整体或部件的名称规格，包括制作要求、尺寸大小、限用工时、耗料数量以及重量、运费等，使它成为有案可查、有章可循的规则和定例。王世襄的《清代匠作则例汇编》这本书就是在长期研究中国古代建筑的基础上收集整理的一部珍贵文献。
在中国营造学社时，王世襄开始关注中国古建筑，在新中国成立后走街串巷的收藏中，他搜集清代匠作则例的手抄及少数官刊本，找出佛像和门神的工匠制作法式，作了整理介绍。这本书记录了古代雕塑和绘画的传统技法、工料等诸多资料，成为研究中国古建筑的一个很好补充。有人说，故宫开除王世襄，是王世襄的大不幸，也是王世襄的大幸，更是中国文化的大幸。幸与不幸，个中滋味，唯有王世襄自知。
但有一点不可否认，正是由于王世襄的痴迷钻研，也正是由于王世襄儿时的贪玩成性，这两者的结合，成就了王世襄后来在偏门中的绝学。如果王世襄没有被故宫除名，那么世界上会多一个著名的故宫文博大家，可能就少了一位能集各种民俗学问于一身的大学者。
也有人会说，没有王世襄，难道就没有其他的人为这些民俗、民间文化代言吗？还真很难说。试问，谁能像王世襄少年时期玩蛐蛐那般痴迷？谁能像王世襄青年时种葫芦那般投入？还有谁，会注意在民间收集养狗放鹰的秘诀？还有谁，能从儿时一直迷恋天空中的鸽哨一直到老也痴心不改？
这些，唯有王世襄，唯有王世襄能在少年时期玩得痴迷成性，中年阶段钻研成痴，才能为我们后世留下诸多宝贵的文化遗产。细细算下来，经过王世襄之手得以正名的中国器物、传统工艺不可胜计，明清家具、火绘葫芦、竹刻、漆器、鸽铃，乃至驯鹰、养狗、放鸽、养蝈蝈、斗蛐蛐，这些曾被认为偏门的民俗与艺术，都借由王世襄的系统整理分析，得以升堂入室，
成为当代“显学”。它们不仅填补了学术界的空白，更保持了传统民俗工艺的延续，甚至救活了包括明清家具制作在内的诸多产业。总是在收藏与研究中看似“剑走偏锋”的王世襄，却屡屡妙手回春，成为学界独一无二的权威。
古籍整理专家程毅中曾经用“奇人”来形容王世襄。他评价王世襄说：“他玩物而得志，格物而致知，努力加兴趣，做成了许多绝学。这样的人才是很难复制培养的。王老是传统文化的传承者和发扬者，是物质文化和非物质文化的守护人。”①
而王世襄的大半学术成就，都产生于被故宫开除后的人生低潮期。他被诬陷过，坐过牢，带过右派帽子，在时代的风云变幻下，从一个衣食无忧的京城顽主转而成为一无所有，且不被社会所承认的一介布衣，而这些，都没能挡住他旺盛的生命力与执著的研究精神。或许，正如他在《自珍集》自序中所说：
大凡遭受极不公正待遇者，可能自寻短见，可能铤而走险，罪名同为“自绝于人民”，故万万不可。我则与荃猷相濡以沫，共同决定坚守自珍。自珍者，更加严于律己，规规矩矩，堂堂正正做人，惟仅此虽可独善其身，却无补于世，终将虚度此生。故更当平心静气，不亢不卑，对一己作客观之剖析，以期发现有何对国家、对人民有益之工作而尚能胜任者，全力以赴，不辞十倍之艰苦、辛劳，达到妥善完成之目的。自信行之十年、二十年、三十年，当可得到世人公正、正确之理解与承认。
