因为和总经理高凤池在工作上有一些分歧，1920年，张元济辞去商务经理的职务，改任商务监理，不负责具体事务。后来，王云五进入商务印书馆，在白话文图书出版方面作了很多贡献，而做了监理的张元济，则把更多精力投入他所钟爱的古籍出版工作。
20世纪20年代，以一家民营出版企业的力量来做古籍善本收藏和出版的工作，难度是非常大的。在张元济锲而不舍的努力下，涵芬楼藏书日渐丰富，出版工作也日见成效。在藏书、出书的过程中，不能不提到傅增湘对张元济的帮助。
傅增湘，字沅叔，晚号藏园居士，和张元济一样，他也是清末的翰林。民国建立后，傅增湘热衷于古籍的收藏，因为藏有两本珍贵的《资治通鉴》，他把自己的藏书处称为“双鉴楼”。傅增湘历经多年收了很多善本，以至于王国维说：“此间无书，有则必为沅叔所得，虽书肆不能与之争。”张元济为涵芬楼挑书买书，为出版《四部丛刊》等书选目、校勘时，都得到傅增湘的鼎力支持。两个人一谈起挑书、买书的事情，经常通宵达旦都不觉得累，真是高山流水遇知音。两人多年的通信就有三十多万字，里面都是谈看到什么书、什么价、怎么买，或者书怎么印、怎么出版等，别无他言。
为了藏书方便，同时也为了方便普通百姓阅读更多的书，张元济在开办了涵芬楼之外，又开始创办东方图书馆。原有的涵芬楼是古籍版本库，而东方图书馆定位为公共图书馆。1921年已经做监理的张元济经董事会同意，用公益基金筹办东方图书馆，开始拨款四万元，后几年又陆续有一些拨款。东方图书馆于1926年5月开始接待读者。东方图书馆和涵芬楼的对外开放，体现了张元济教育惠民的思想。当时很多爱读书的普通人来到东方图书馆就会有由衷的幸福感，写下很多笔记后才恋恋不舍地离开。
这时的张元济即将迈入花甲之年，如果说他多年来编辑印制的《四部丛刊》等古籍为他带来了很高的声望，那么他还有一个愿望：影印《四库全书》。
早在1920年时，张元济就动过影印《四库全书》的念头，因为当时法国要退还庚子赔款，这笔款可以作为影印的费用。北洋政府提议按照原书大小影印，并交给商务印书馆做。张元济为此到北京和朱启钤、叶恭绰商议，但后来因为政府要求太高，带来耗资巨、用时长等问题，最后只能暂时搁置。
1924年，张元济再次考虑影印《四库全书》，他和前清内务府协商后，获准借文渊阁本运往上海。这次的计划不同于四年前，不是同比大小影印，而是将版式缩小影印，所以成本、工时都可以节省不少，但即便如此，也得要五年才可以完成。商务印书馆就这件事和北洋政府的多个部门商谈备案，就要达成协议时，不料当时的总统府秘书厅发公函，严禁《四库全书》出京。张元济请老熟人孙宝琦帮忙，也没起到什么作用。
