如果有关方面能够妥善处理王世襄被诬告关押的事情，如果王世襄不被故宫博物院除名，那么他也许会在1958 年的“反右”运动中躲过一劫。被故宫除名后的王世襄在家郁郁赋闲一年后，于1953 年开始在民族音乐研究所工作，王世襄的妻子袁荃猷当时也在民族音乐研究所供职。荃猷，毕业于燕京大学教育系，14岁师从汪孟舒学习古琴，后又经古琴国手管平湖先生亲授，琴艺精良，做音乐研究可谓得心应手。但是王世襄一直在做文物方面的研究，现在却让他去音乐研究所工作，真有点勉为其难。
不过，王世襄是肯于钻研的人。在民族音乐研究所工作后，王世襄认真完成自己的本职工作，他担任有关音乐史方面的研究，也参与设计布置中国古代音乐史陈列室。此外，还编纂了《中国古代音乐书目》，撰写古琴曲《广陵散》说明，写了《信阳楚墓出土乐器调查》等诸多在音乐界颇有影响力的论文。
除了完成自己的本职工作外，王世襄的业余时间都用在撰写《髹饰录解说》这本书上。王世襄认为一生中做的最有意义的事情有两件，第一件事情是日本投降后为祖国收回几千件国宝，第二件事情是文物研究著作《髹饰录解说》的编写。
王世襄与《髹饰录解说》的缘分，还要追溯到朱启钤先生那里。《髹饰录解说》就是对《髹饰录》这本书的解释、注解。《髹饰录》是中国古代漆工撰写的关于漆器工艺的文章。中国是发明漆器的国家，有几千年制造漆器的光辉历史。成千上万的历代能工巧匠，留下数以万计的精美漆器作品，但数千年制造漆器的宝贵经验，在很长一段时间内，只靠口传身授，师徒相传，直到五代十国阶段，才有朱遵度加以总结，写成《漆经》，可惜这本书早已在政权更迭的兵燹战火中失传。到了明代，漆工艺再次进入高峰时期。在这样的环境下，一部漆工艺经典著作--《髹饰录》诞生了。这是中国漆工艺史上的重大事件。
后来，《髹饰录》几经辗转，在中国逐渐消失了踪影。直到民国初期，中国营造学社的发起人朱启钤在日本发现了《髹饰录》的手抄孤本，后来费尽周折，终将《髹饰录》的手抄本的复印本带回国，并于1927 年付印了200 本，朱启钤先生为中国民族的文化传承作出了重要贡献。
1945 年，王世襄在中国营造学社工作期间，朱启钤曾经向他提起过《髹饰录》这本书，并嘱咐王世襄关注它。当时王世襄忙着追讨流失海外的文物，对这本书并未留意。1949 年8 月，王世襄从美国博物馆参观回来之后，去拜访朱启钤先生，朱启钤将《髹饰录》一书亲自交给王世襄，并郑重地嘱咐王世襄说:“你现在回到故宫工作是个有利条件，应该下些工夫注释此书。”
自此，怀着对朱启钤先生的知遇之恩和对祖国传统文化的无比热爱之情，王世襄开始了撰写《髹饰录解说》的艰辛历程。《髹饰录》分为乾、坤两集，共18 个章节，在乾集里讲的是原料、工具、操作禁忌等，在坤集里讲的是漆器的品种分类以及制造方法。《髹饰录》在中国漆艺史中具有极其重要的参考价值。但令人遗憾的是，它是写给漆业工匠看的，内容多是一些漆业专门术语和行话，而且作者又把一般的漆艺技术上升到哲学的高度，引经据典，甚至把“阴阳”“五行”学说也引入其中，使其蒙上一层神秘的色彩。这样一部晦涩难懂的书，如果没有漆艺专家对它进行认真深入的研究，进行解说和释文，即便是漆艺工作者恐怕也难以完全读懂它，这对于了解我国古代漆器技术的发展是个极大的障碍。
