1941 年，教育部在重庆成立了一个“清理战时文物损失委员会”，次长杭立武是主任委员，马衡、梁思成、李济等任副主任委员。从该年下半年起，梁思成为了清损会的事情常去重庆，在那里的工作是开列沦陷区内重要文物名单，主要是古建筑和石窟等，印成手册，并在地图上标明方位，以备反攻日寇时避免炮击或轰炸。清损会还计划进军时配备文物工作人员，随行保护。
梁思成问王世襄，如派你参加这一类工作，你是否愿去。有机会将自己所学应用到实践当中，而且是为国家出力，王世襄自是一口答应。他还向梁思成申请去北方，并希望借此机会能回家看看。
1945 年8 月，日寇投降，林徽因告诉王世襄：梁先生来信说，由于局势急转直下，清损会工作马上要全面展开，正在选派人手去各地工作。王世襄认为这时如果去重庆，可能有机会参加清损会工作，比在李庄坐等好。所以他立即给马、梁两先生写了信，整理行装，数日后即向林先生和社中同仁告别，离开李庄去重庆。
9 月，王世襄到达重庆，由马、梁两先生带去见了时任清损会主任的杭立武。虽然王世襄初出茅庐，但由于有两位副主任委员的推荐，再加上也确实需要人手，因此杭立武同意派他到清损会平津区办公处工作。
在王世襄到达重庆前，教育部已派沈兼士任教育部特派员，兼任清损会平津区代表。沈兼士曾任故宫博物院文献馆馆长，与马衡同时兼任北京大学教授，他们关系较深。马衡先生带王世襄去见了一次沈先生，随即飞往北平，而王世襄则须等待有交通工具才能成行。当时飞机很紧张，一般工作人员即使坐轮船到武汉或上海再转往北京，也要登记等候，时日难定。
在等候船只的期间，清损会在重庆教育部开了一次会，出席的人有杭立武、马衡、梁思成、郭志嵩等。会上商定派往京沪、平津、武汉、广州等区的工作人员到达后如何开展工作，在这次会议上，王世襄正式成为平津区助理代表。
正在这时候，美国纽约大都会美术馆副馆长翟荫来到重庆。他持有联合国文物保护组织函件，声称受委托来华观察调查战后中国的文物损失及保护情况。翟荫向杭立武提出行程，希望能到成都、西安、北平三地看一看然后回美，并盼能有一个懂英文的人随行。杭说当前最大的困难是交通工具。翟说搭乘飞机不成问题，他可与美军联系，搭便机去各处，不必由中国政府安排。这时杭和马、梁两位都认为派王世襄陪翟同行比较合适，一则因他正待北上，二则王世襄娴熟英语，又知文物，可任译员。就这样，翟荫的到来，提前了王世襄离开重庆的日期。行前，马衡先生特别嘱咐，对翟荫必须密切注意，防范他借观察调查文物之名，行盗窃搜购文物之实。如有此等事发生，应立即阻止并报告清损会。
王世襄带着监视的秘密使命和翟荫10月6 日离开重庆，27 日辗转回到北平。11月9 日翟荫离开北平经上海返美。一路之上王世襄都与之形影不离，只是在到北平后，把翟荫安置在六国饭店居住，王世襄须到沈兼士处报到并筹备成立清损会平津区办公处，又要回家与家人团聚，因而没有能和翟荫每天在一起。这是他第一次跟外国文物工作人员同行，年轻的王世襄当时并没有发现翟荫有什么不对劲。
到北平的次日，王世襄即去东厂胡同教育部特派员办公处见沈兼士，向他汇报清损会会议商定事项及与翟荫同来经过。沈嘱咐王世襄一切按商定事项办理。关于办公地点，沈介绍王世襄去故宫博物院找总务处处长张庭济面洽。关于工作人手，沈告诉王世襄，可以找一两个人帮忙，按月付酬。如没有或不够，不妨请故宫派人支援。沈还说他工作极忙，清损会具体事
务无法兼顾。但如对外洽办事项，需要教育部特派员办公处具名出面时，可来找他，将由他的秘书费致德来办理。
