“沈先生在干校环境比较艰苦，搭的棚子漏雨，地上都是水，只能铺着砖头。买笔、纸要跑很远的路，他坐在床上，在家里寄来的杂志空白处，凭着记忆写东西。他觉得历博展览需要改进，要补充新材料。从干校回到北京后，馆里领导对他不好，扣服饰稿子，谈话都是训斥。工人造反，占了他的两间房，把他的书、家具扔到院子里。沈先生说：‘硬木家具放在外面就毁了，你们要用就用吧。’他在小屋子里整天写稿子，屋里生了一个小炉子，也顾不上生火。我看他满屋书堆得比较乱，就用展览摆花的旧架子，搭了一个木头旧书架，放在屋里。”李之檀感叹说道，沈先生没有遇到一个好环境，后来他在馆里实在待不下去了。
沈虎雏对父亲当年强烈的“忧馆”意识印象最深：
几十年来，他始终觉得文物领域很重要，有开拓意义，可以纠正许多谬误，而且国家对挖掘研究比较重视。他感到事业有干头，可以把文学放一放。40年代在西南联大时，他曾希望当局出面扣下一位美国人在滇西收集的大批文物，但无能为力。
父亲既忧国忧民，又忧馆。对历博抱有过高的期望，操心馆里前景。辅导这个人钻研，又鼓动人家收集资料，又让人制定进修计划。他有时愤愤不平，认为领导为何不抓业务？当和尚为何不撞钟？
他的一些为社会服务的建议，馆里未必件件都支持，有些会觉得麻烦。
我自己感到，父亲当年没有从另一方面体会到当领导的难处。“文革”中馆里进来大批有背景的人，人增加很多，可搞业务的人越来越少。杨振亚、陈乔他们既要搞批林批孔运动，又要面对大批“文革”遗留的问题。权力有限，处境困难。而父亲却想抓紧几年时间出成果，希望领导能支持。他与领导层产生矛盾，有过许多不满。社会处境不同，他不能理解领导受到另一面的制约。
他在家中要有起码的工作空间，摊开手中的研究资料。但是博物馆不能退出别人强占的住房，采取息事宁人的方法，却想让他搬到远处，给他造成不便。
（2000年3月14日口述）
“文革”渐近尾声，1974年七十二岁的沈从文找到馆长杨振亚，谈话中流下眼泪。他希望得到最后的帮助，但没有得到满意的结果。回来后，激动之中给杨振亚写长信，信中写道：
我应向你认真汇报一下，现在粗粗作大略估计，除服装外，绸缎史是拿下来了，我过手十多万绸缎；家具发展史拿下来了；漆工艺发展史拿下来了；前期山水画史拿下来了，唐以前部分，日本人作过，我们新材料比他们十倍多；陶瓷加工艺术史拿下来了，也过手了近十万件，重点注意在可否供生产；扇子和灯的应用史拿下来了，也都可即刻转到生产上；金石加工艺术史拿下来了；三千年来马的应用和装备进展史拿下来了；乐舞杂技演出的发展资料拿下来了……乍一看来，这么一大堆事物，怎么会忽然抓得下？简直不易设想。事实上，十分简单，只是一个肯学而已，毫无什么天才或神秘可言。
这么庞大的学术专题中，只有服装资料由于周恩来的关心一直编著着，等待着出版的机会。周恩来多次出访外国，常见到服装博物馆，各国把自己服装的历史当作文化史的重要方面。周恩来曾问文化部副部长齐燕铭，我们有没有这方面的工作。齐说，沈从文在研究。因而周把编著服饰研究大型图录的任务通过文化部，布置到历博，并准备以这本印制精美的书作为国家领导人出访时的国家级礼品之一。
然而沈从文其他的专题研究和出版都烟消云散，领导上无暇顾及这些亟须抢救的研究结晶。而且在“文革”中，部分“服饰研究”大样、画稿被贴在大字报上展览，说是宣传帝王将相、才子佳人，两麻袋的书稿清样险些被送到造纸厂化浆。后来黄能馥去历博仓库寻找时，发现清样制版零乱，与废纸扔在一起。
