王世襄不明白政府当初为什么会答应如此苛刻的条款。但在当时的大背景下，中国虽然取得了抗日战争的胜利，但在美帝国主义强权的主导下，并没有能够享受到胜利的果实。当政府在忙于博弈政治资本时，又有谁会把文物追讨放在心上呢？
没有话语权，王世襄只能一方面通知国内，寄来更加详细的材料，另一方面则硬着头皮拿手头所有的材料去向日本政府提请清收。而这样的要求则在日本政府以资料不全为由之下，显得那样苍白无力。
几次三番的碰壁，让王世襄心灰意冷，他不由地想起自己在故宫的工作和临行前与马衡的对话来。出国前，故宫博物院的基础整理工作才刚刚开始，他本以为来到日本，能够做一些更加有实效性的事情，但从事情的进展来看，他发现自己在这里，只不过是一个点缀。并没有人真正关心流失的文物，而在可预见的未来，也不可能出现什么转机。
王世襄起了回国的念头。于是他写信给马衡和杭立武，详细叙述了在日本的情况，表达了自己想回故宫博物院工作的心思。
接下来就是等待，王世襄不通日语，每日下了班并无处可去，而工作又进展得不顺利，这让他在日本感觉度日如年。在数着日子挨过几天后，王世襄收到了郭志嵩的回信，说杭立武认为派一个人去日本并不容易，“既来之，则安之，工作一时不顺手，可徐图之。除非有特殊任务，不要急于回国。几时回来，须得到代表团的许可。”
对于这封回信，王世襄异常失望，他真正体会到什么叫做报国无门。原本寄希望于清损会，但现在他知道，想回国就只能通过代表团批准。经过不少周折，王世襄终于将在上野公园的善本运送回国。
1947 年3 月初，王世襄回到北平，重返故宫博物院古物馆任科长。当时的故宫博物院，虽然已经建院二十余年时间，但由于中间经历了抗日战争，使得博物院百废待兴。除了已陈列开放或办公使用的地方外，不少宫殿房屋长期封锁，依然处在当年清室善后委员会点查时的状态。文物与非文物界限不清，归类不明，在储存保管上混乱不堪。根据博物院的现实状况，王世襄与马衡进行了详细的沟通，归纳出了保管工作的要点--“弄清家底，加强保管”。
就这样，王世襄开始了在故宫博物院的基本建设工作。他首先将文物都集中到古物馆，开辟库房，修缮房屋，添置储藏设备，进行集中保管，然后将文物进行分类编目整理。在这期间，王世襄一边为故宫文物保管工作打基础，一边继续进行文物的追讨工作。这段时间，王世襄既要进行古物整理，又要负责房屋修缮以及文物修复，头绪纷杂，十分繁忙。那最初进故宫博物院来完善自己《中国画论研究》一书的想法，也早已搁置，他甚至没有时间写任何关的学术文章。就这样，时间在繁琐的小事中又过了半年。
1947 年的夏天，美国洛克菲勒基金会派两个人到北京进行所谓的文化访问，参观各类学校、图书馆、博物馆，声称可以进行项目资助。故宫博物院此时正是百废待兴之时，能有资金支持，当然是求之不得的好事，于是马衡亲自接待了该基金会的一行人，并向他们提出了资助印刷设备的请求。
秋冬之际，洛氏基金会回复了故宫博物院的请求，他们并没有像当初承诺的那样提供资金资助，而理由是当时中国正在进行的内战。或许是为了礼尚往来，他们提出可以给故宫博物院一个到美国参观学习的名额。虽然有些失望，但马衡等人还是觉得这个学习名额聊胜于无，借此机会，也能够见识国外先进的博物馆，为故宫今后的发展储备人才。经过讨论，最终决定派王世襄去学习。
