1937年，战争已经是黑云压城，风雨欲来。这时，一本小册子在国人中间流传开来，这本叫《中华民族的人格》的书不到5万字，记述了中国古代14个舍生取义的故事。书的编写者正是张元济。这本书是他校辑《史记》等古籍的副产品，也是对时势的有感而发。书中记录的故事，如孔子的“无求生以害人，有杀生以成仁”，孟子的“富贵不能淫，贫贱不能移，威武不能屈”等，颂扬了中华民族历史上高洁不屈的人格典范。
日寇入侵中国，让很多人的人生选择发生巨大的变化，商务印书馆的第一任董事长郑孝胥竟然跑到“伪满洲国”去当总理了。张元济和汪精卫原本有过交往，但后来汪精卫和日本人同流合污，走上了一条不归路，张元济从此疏远了汪精卫。1941年汪精卫托人将他和妻子陈璧君合写的《双照楼诗集》送给张，张也没有理睬。在这样的形势下，张元济觉得任何时候都不能丧失或忽视人格，尤其是国难当头、民族危亡的时刻，于是编写了《中华民族的人格》。这本小书从1937年到1947年间，共印行六版。
八年抗战，张元济没有离开上海，他主持着没有撤离的商务印书馆董事会，拒绝与日本的任何合作。因为生活艰难，张元济只能靠卖字为生。当时日本人占领了上海，希望找一些有声望的文化人出来撑场面，他们找到张元济的寓所，希望见面商谈。张元济拒不见面，写了“两国交兵，不便接谈”八个字，让儿子下楼把来访的日本军官打发走了。
即便在如此的乱世当中，张元济也没有停止对文献古籍的保护行动。因为东方图书馆在战火中毁灭，张元济和他的学生叶景葵等人商议创建一座新的图书馆，为那些宝贵的典籍搭建一个新家。作为早年通艺学堂的弟子，已是银行家的叶景葵对办图书馆十分支持，他本人也酷爱藏书，从1939年到1941年，经过两年多的努力，他们建起了合众图书馆。
就这样，尽管战火不断，尽管古籍散失，张、叶等人还是倾其所有，不仅将所有藏书献出，甚至把所有钱财都献出，只为他们所钟爱的古籍善本。1949年，合众图书馆已经藏书22万册，成为一家大图书馆。上海解放后，张元济捐出全部藏书，而这些藏书成为今天上海图书馆重要的馆藏。
国共内战后期，局势已经较为明朗。因为商务举足轻重的地位，两党都希望争取张元济。1948年9月，张元济成为中央研究院最年长的院士。次年1月，李宗仁派特使登门，请他作为国民政府和平代表去北平谈判，张元济以“年逾八龄，精力衰惫”为由拒绝了。中共方面也派人邀请他去开政协会议，起初他也没答应。后来，曾在商务印书馆工作过、已成为中共高官的陈云亲自登门邀请，他才“定计应政府之召，赴北平参加新政治协商会议”。
张元济对新政权有所期待。从北平回上海后，他曾经对友人说：“是的，共产党并非没有错处，但是现在除了共产党还有谁呢？还有谁能负起这一艰巨的责任呢？……解放并非换朝代，这是几千年的大变……我们全国人民还得忍苦忍劳，咬紧牙关，度过这一非常时期，建设起独立、民主、和平、统一和富强的新中国。”
如果把他听从陈云的建议而北上的原因仅仅归结为“对新中国热爱”又不够准确，因为作为商务馆的当家人，他毕竟还要考虑商务馆的未来。连年战乱之后，商务印书馆已经困难重重。1947年，张元济曾给胡适写信，请他代为出售一些珍贵的善本书。这些书都是多年前张元济等人从北平购得的典籍，有的堪称孤本。以张元济爱书如命的性格，都到了要卖书的地步，商务印书馆的窘境足可想见。
