盛宣怀极力挽留他，但张元济态度非常坚决。他在写给盛宣怀的信里说，中国4万万人口，只有40万人受过教育，受过教育的人也就是学过几句八股文，对于应该知道的知识几乎都没有学到，如此发展下去，国家要亡。张元济认识到，自打政府开展洋务以来，办企业也好，办学堂也好，因为弊端太多，最后成功的并不多，他认为也许走民间办企业的道路会有希望，于是加盟商务印书馆。或许连他自己也没有料到，他的这个决定对中国近现代出版业产生了深远的影响。
张元济和夏瑞芳约定，“吾辈当以扶助教育为己任”，并在诗中写道：“昌明教育生平愿，故向书林努力来”。他们两人相识于1899年。当时商务印书馆请人翻译了一批日文书，但是翻译质量很差，卖不出去。夏瑞芳就找到张元济，请他修改译稿，可是稿子改完了还是不能用。由这件事夏瑞芳意识到，商务印书馆得有自己的编译所才行。起初，张元济推荐了蔡元培当编译所所长，后来因为“《苏报》案”蔡元培离开上海，张元济接手了所长一职。
由于张元济办过学堂，有过教学经历，所以非常清楚在教学过程中教科书的重要性。没有教材、参考书，教学是很困难的事。张元济到了商务印书馆不久，就开始筹划编写教科书。他所主持的小学国文教科书，不是最早出版的，却是当时最好的。一经面世，其他书局的儿童读本，都渐渐失去影响。
张元济编课本的方法很独特，发扬民主作风，让大家围坐在一起，就像今天开选题策划会一样，每个人都可以说出想法和主张，如果被大家公认有价值，就详细讨论。讨论者从儿童启蒙的特点入手，由简入繁、循序渐进。往往因为一个小问题，大家会争论得面红耳赤。每一个点都要讨论到所有参与者都没有异议为止。每完成一篇课文，大家再轮流阅读，该改动改动，该润色润色。
接下来，张元济主持编印《最新教科书》，发行后，考虑到教师教学的方便，他又编印教学法，相当于现在的教师参考书。这是张元济的首创，受到教师们极大的欢迎。可以说，《最新教科书》为商务印书馆在教科书领域打开了市场。1906年清廷学部审定初等小学教科书共102种，其中民营书局发行的有85种，而商务印书馆就占了54种。
除了编纂教科书，一向对西学抱有兴趣的张元济不忘译介西方学术著作。严复翻译的《天演论》《法意》及林纾等人翻译的小说也在商务印书馆出版，产生了很大的社会影响。胡适后来回忆自己读商务版的《天演论》时，禁不住夸赞此书给他的思想带来巨大的冲击。
编辑出版辞典等工具书，也显现了商务印书馆的独到眼光，这其中最有名的莫过于《辞源》。《辞源》1908年开始编纂，用了八年时间完工，行销甚久。此外，商务印书馆还出版了《英华音韵字典集成》、《华英字典》，这些是中国最早自编的外语字典。商务印书馆此时还办了好多期刊，如《小说月报》、《东方杂志》等。不夸张地说，张元济到了商务印书馆后，商务的面貌焕然一新。
