临沂一仗开了台儿庄胜利之端绪。冯玉祥在后来称赞这一仗说：“张自忠将军在山东的临沂打了胜仗，日本人的大队攻临沂，守临沂的是庞炳勋，双方打得很厉害，日本人想不到张自忠将军的军队那么听命令，那么的勇敢！正从日本人的右侧背用了一个拦腰截击的办法，把日本的军队打得落花流水。”临沂一战，津浦线北段日军“左臂”为国民党军队砍断，日军两路会攻台儿庄的计划被彻底粉碎。
这时，蒋介石又将第一战区的第二集团军孙连仲部调来守台儿庄。1938年3月24日，蒋介石亲自和白崇禧到徐州、台儿庄“指示机宜”。自3月24日至4月7日，中日两军在此展开了抗日战争史上著名的台儿庄会战，战斗进行得非常激烈，双方均付出了沉重的代价。
自3月24日至4月3日，日军矶谷师团集4万兵力，并运用其优势之炮兵与机械化部队（大小坦克车七八十辆，山野炮和重炮共百余尊，轻重机枪不计其数）猛烈围攻台儿庄，并有大批飞机助威。“我第二集团军阵地每日落炮弹至六七千发之多”。孙连仲部的池峰城师以与台儿庄共存亡之决心，奋勇抵抗，反复肉搏，虽台儿庄城塞被日军占去三分之二，守城的国民党军队屹然未动，死力支撑，以待机动兵团包围日军。李宗仁在回忆录中对这段历史有一段生动的叙述：“孙总司令要求与我直接通话。连仲说：‘报告长官，第二集团军已伤亡十分之七，敌人火力太强，攻势过猛，但是我们把敌人也消耗得差不多了。可否请长官答应暂时撤退到运河南岸，好让第二集团军留点种子，也是长官的大恩大德了’，孙总司令说得如此哀婉。但我预算汤恩伯军团，明日中午可进至台儿庄北部。第二集团军如于此时放弃台儿庄，岂不功亏一篑。我因此对孙连仲说，‘敌我在台儿庄已血战一周，胜负之数决定于最后五分钟。援军明日中午可到，我本人也将于明晨亲来台儿庄督战。你务必守至明天拂晓。这是我的命令，如违抗命令，当军法从事。’……连仲知我态度坚决，便说：‘好罢，长官，我绝对服从命令，整个集团军打完为止！’……孙总司令和我通话之后，在台儿庄内亲自督战。死守最后一点的池师长峰城，又来电向他请求准予撤退。连仲命令他：‘士兵打完了你就自己上前填进去。你填过了，我就来填进去。有谁敢退过运河者，杀无赦！’”〔28〕在这抵抗外来侵略者的民族战争的战场上，这些国民党官兵的有血气的表现，是可敬可佩的。最后是汤恩伯军团赶到，李宗仁又亲临指挥对日军矶谷师团的歼灭战，台儿庄战斗取得了巨大的胜利。日军是全军胆落，狼狈逃窜，溃不成军。矶谷师团长率残敌万余人突围窜往峄县，闭城死守，已无丝毫反攻能力。这一仗日军死伤2万以上，李宗仁对这一仗的评价是比较高的，他说：“台儿庄捷报传出之后，举国若狂。京、沪沦陷后，笼罩全国的悲观空气，至此一扫而空，抗战前途露出一线新曙光。”
我军克复台儿庄不到10小时，新闻界在台儿庄召开了一个参战将士座谈会。会上，池峰城师长介绍了其师在此次会战中的任务及牺牲情况，他说：“记得本师出发之初，所担负的任务，是诱敌深入，避免决战，以便帮助其他友军，完成鲁南歼灭战的使命。从上月廿三日开始攻击，结果把峄县的敌人诱了出来。但敌人诱到了南洛北洛之间以后，他们竟以左右两翼直取台儿庄，为了确保台儿庄这个战略据点，保障徐州不受威胁，我军在正面展开了决死的战斗，始终扼守台儿庄及北站两个据点。当敌人增至两师团半以上的兵力时，因为他们要以一大半的力量，来对付左右两翼的我军，所以我们能够在正面反攻，能够得到胜利。……至于本师官兵英勇的抗战精神，是值得赞誉的，如营长十二名，伤亡了十名，四个团长，伤了三个，下级军官的牺牲尤其大……”营长、营副等人则具体介绍了战斗过程中我军的表现。营副胡俭峰说：“我们这次打仗，大家有一个信心，就是敌人的大炮飞机，不及咱们刺刀手榴弹厉害！只要他打不死我，咱们总有办法结果他们。这次，咱们的刺刀、手榴弹，只用得二分之一，已把敌人打跑了。”营长禹功愧说：“我带了第九连的士兵，守在城里，敌人的排炮打来，往往一炮，轰掉了我们一班人。可是一班人完了，第二班自会毫不迟疑地上前去，士兵皆视死如归。我们在酣热的巷战中，什么生死全忘记了，只觉得杀敌人杀得浑身痛快！”军医处长说：“十个伤兵，有九个不愿意下来。……每一个士兵都要拿一颗炸弹，去拼掉敌人坦克车，不问这种事能不能做，但他们的勇气是可佩的！”
据日本方面资料说，当时蒋介石对台儿庄胜利的宣传作了如下指示：
