吕济民尽管曾被下放到咸宁向阳湖"五七干校"仅两年许，但晚年的他对此很有些怀旧："咸宁的老百姓很友好的，我们尽管当时处在逆境，劳动是苦点，但在那里得到了劳动上的锻炼，思想上与老百姓贴近，当然不能肯定那段政治运动。'文革'的历史一言难尽，应该好好总结才是。咸宁向阳湖就是一座天然的'文革'博物馆，不能轻易忘记伤痛的过去！"
吕济民回忆说："我是１９６１年春到国家文化部工作的，刘炳森１９６２年秋到故宫博物院，由于我们俩在同一个系统，因而'文化大革命'期间都被下放到湖北咸宁文化部"五七干校"。我同刘炳森的交往是从"五七干校"调回北京后开始的。"
当时故宫博物院已奉周恩来总理指示重新开放，最早在慈宁宫举办无产阶级文化大革命期间出土文物展览，吕济民等"一批人回来后在故宫武英殿上班，主要任务是搞出土文物展览并从中挑选一批珍品，筹办出国文物展，并编辑图录。刘炳森的主要任务是书写展品说明牌，包括故宫所有展厅的说明牌，还有出国的展品说明牌。出国文物展览有两套，一套是从美洲到欧洲，另一套是亚洲到大洋洲。书写这么多的展品说明牌，一般人都觉得枯燥无味，但刘炳森非常认真，一丝不苟。于是我同他也就有了较多的接触，有的是工作上的，也有私人之间的交往"。
２００５年２月１５日，刘炳森因病溘然长逝。２月２１日上午１０时，在北京八宝山革命公墓，５０００余人挥泪送别。９时刚过，吕济民就到第一告别室，室外的空地摆满了花圈、花篮，挂满了各式各样的挽联和挽幛，也挤满了密密的人群。吕济民难抑这特有氛围的感染，泪眼朦胧……
陪同叶利钦总统的文化之旅
"我于１９７２年７月从湖北咸宁干校调回北京后安排在国家文物局，这是我工作中的一个转折点。我没有想到的是在国家文物局博物馆处一干就是１０年，这是中国博物馆从动乱中恢复、从清理藏品到举办陈列、从闭馆到开放、从低谷回升的１０年。"吕济民说，这１０年为他学习博物馆专业打下了基础。１９７７年，吕济民组织召开了全国博物馆文物保管工作座谈会，制定了《博物馆藏品保管试行办法》和《博物馆一级藏品鉴选标准》；１９７９年，他组织召开了全国博物馆工作座谈会，制定了《省、市、自治区博物馆工作条例》，明确了博物馆在新历史时期的任务和功能---上世纪７０年代，他先后到苏联、南斯拉夫、法国、荷兰、比利、卢森堡等国考察学习博物馆的有关经验。
上世纪８０年代初，吕济民调到文化部群文局当了３年局长之后又回到国家文物局当局长，"但我仍然以主要精力从事博物馆学研究和博物馆事业管理"。吕济民十分重视和支持博物馆专来人才培训，在承德、泰安等地开办培训中心，多次在培训中心和高等院校讲授博物馆学，同时还组织专家撰写博物馆学和博物馆管理教材，并主持编纂《中国大百科全书·文物博物馆》。８０年代，吕济民先后３次赴苏联考察博物馆事业的发展，实地参观俄罗斯、乌克兰和爱沙尼亚的５０多个博物馆，发表有关苏联博物馆文章约５万字，还发表翻译文章１０万字左右，结集出版了个人专著《博物馆暨文物工作论丛》。
１９９１年夏，吕济民担任中国博物馆学会理事长和故宫博物院代院长，"同时既从事博物馆学研究，又从事博物馆微观管理，这对我又是一次机遇"。当时，吕济民着重考虑并着手研究如何有效地提高博物馆的管理水平，要求做到理论与实践相结合。他在故宫着重抓书画馆、陶瓷馆、青铜馆、珍宝馆的陈列更新，"不仅是更新陈列内容，还花几千万元用于内部装修和灯光布景，同时对太和殿、中和殿、保和殿的原状陈列进行了调整和更换"。此外，吕济民还不失时机地主持编纂了《中国博物馆志》。
１９９２年１２月１７日，时任俄罗斯总统叶利钦开始对我国进行国事访问，这是叶利钦作为俄罗斯总统后的第一次访华。第二日，当时中国政府安排他参观故宫博物院，由时任代院长的吕济民接待并解说。叶利钦是学建筑的，对参观兴致很高。在参观故宫的时候，叶利钦便问起有关故宫的建筑设计、使用材料等。这真应了中国的一句老话---三句话不离本行。
