在张元济整理影印的各种古籍丛书中，最费心费力的当属《四部丛刊》和《百衲本二十四史》。这两部大书在文化方面的影响也最大，至今仍是海内外古籍工作者常备的基本文献。尤其是《四部丛刊》，从1915年开始酝酿，到1922年初编出版，费时7年，是中国现代出版史上没有先例的浩大工程。《四部丛刊》前后印了初编、续编、三编，近500部书，汇集了中外的宋元明善本及一些精抄本。从定书目、选底本、文字校勘，到工程预估、印刷纸张，张元济都亲力亲为。而其中最难的就是对版本的搜集挑选，为此张元济几乎访遍了当时中国有名的藏书家。这段经历，张元济称之为：“求之坊肆，丐之藏家，近走两京，远驰域外。”他还提倡印古书用国产纸，《四部丛刊》初编用纸分为手工连史纸和手工毛边纸两种，张元济估计上海这两种纸不够用，还几次派人到福建和江西去采购。当时手工造纸本已销路困难，如此一来获得了转机，纸价竟然上涨了。当时有人说：“《三都赋》成，洛阳纸贵；《四部丛刊》出版，闽赣纸价飞涨。”
在《四部丛刊》出版之前，中国最著名的古籍丛书是《四库全书》，但作为诞生于乾隆朝，以全国之力而成的大书，无论选目还是抄写质量，都颇受后来学者的诟病。而以张元济一人之力编成的《四部丛刊》，无论在选目的精当，还是在校勘和影印的质量方面，均远远超过《四库全书》。
1928年，张元济为《四部丛刊》专程赴日访书。在一个半月的时间里，他饱览了东京、京都等地图书馆的汉籍收藏，每天不停地阅选古书。虽然那时他已是年逾六旬的花甲老人，但他每天都要做笔记直到深夜。每到一处，都商借拍摄，然后带回上海影印出版。
直到今天，一个读书人要想看到那么多的宋元明善本，也只能去看张元济的《四部丛刊》。这套书不但编得好，而且卖得也好，初编销售就达到一百多万元。
说起张元济的爱书藏书，是有家族渊源的。他的祖上就有藏书阁“涉园”，张元济中年以后，恢复了“涉园”。对于公家的涵芬楼和私人的涉园，张元济公私分明，分得很清楚。他在购入徐友兰的藏书时，发现其中一部《宋诗钞初集》，曾经为其先祖所收藏，上面还有他先祖的批注。作为后人，张元济当然想把这部书收回，但因为徐友兰的熔经铸史斋藏书是为商务印书馆所购，张元济便将此事放在心中，按下不表。多年以后，他偶然逛书肆的时候发现另一部同样的《宋诗钞初集》，当即买下，并向商务印书馆的同事商议将祖上所藏那本换回。这件事公开后，成为藏书界的一段佳话。
当然，在搜集古书的过程中，也有不少憾事。1906年，江南著名藏书家陆心源的后人打算出售陆氏皕宋楼藏书，这些藏书大多是极其珍贵的宋版书。宋版书流传到民国时已经非常稀少了，大约全世界流传的宋本全部加起来，包括残本，也就两千多部，而当时皕宋楼就有两百部宋本，十分珍贵。消息传出，日本人多次登门，希望收购。张元济闻讯，立刻前往，希望将这批国宝留住。当时全部资金不过40万元的商务“慨然许以八万购之”。
遗憾的是，国宝还是被日本人买走了。当藏书运抵日本时，日本的汉学家喜出望外，称此为日本的一大胜利。张元济则是终身以此为耻，他在给友人的信中说：“今悔之无及，每每追思，为之心痛。”
