西北军当时的根基已在陕甘，却离开自己的根基去河南等地作战，一旦粮饷、弹药为阎锡山所“卡”，则必造成不战而自乱。
这些也是这场战争失败的重要因素。但最为关键的是这场战争究竟为什么而打，为谁而打？它不是辛亥革命，也不是“北京革命”。说穿了，这是作为掌握着枪杆子和占踞着地盘的，蒋、冯、阎、李几个派系，为争夺自己派系更大的权益而发动的一场战争，一场新军阀混战，它和辛亥革命后直系、皖系、奉系以及国内各地的大大小小的军阀之间的互相争斗，根本没有区别。
蒋介石之所以获得胜利，固然是其内部派系少，相对团结能统一指挥，善于利用对手互相间的矛盾离间、分化、瓦解。另外他以中央政府这个旗帜下要统一这个幌子为由，这也在一定程度上反映了广大民众饱受军阀混战之苦，希望统一在一个政府之下，而不要再分割了的意愿。
当然，军阀战争，要想得到民众的支持和拥护是不可能的。但中原大战的结局，使张自忠意识到，这也许是一件好事，也许意味着今后军阀战争将不会重演。作为一个爱国军人，应该团结起来，一致枪口对外，抵御外侮，保卫祖国才是军人的天职啊！
当然，他也明白，二十九军因为不是蒋介石的嫡系，也不是张学良的嫡系，必然会在一种艰难的夹缝中生存，自己没有实力是不行的。他正是在这两种心情即为了祖国，为了生存之下，率领部队，咬牙苦撑，埋头练兵。
1931年夏，三十八师移驻东太行山区的阳泉、平定、昔阳和冀西的井陉一带。这年，发生了震惊中外的“九一八”事变。张自忠对于日本军阀的疯狂侵略和国民党政府的不抵抗政策甚为愤慨，9月20日，他与宋哲元、庞炳勋、吕秀文、刘汝明、冯治安、沈克、马法五等将领联名通电全国，请缨抗战，呼吁全国四万万同胞“宁为战死鬼，不作亡国奴，奋斗牺牲，誓雪国耻。”但是，由于南京政府的不抵抗政策，九一八事变后仅仅四个多月，东三省全部沦陷在日军铁蹄之下。
“九一八”事变使张自忠认识到，只有反对内战，枪口一致对外，才能保卫国家的独立、人民的安全。暂时不能上前线杀敌，张自忠转而发愤练兵。在部队训练上他更加重视爱国主义的教育。每天朝会上，他都要对士兵进行“国耻”教育：
问：东北是哪个国家的土地？
答：是我们中国的！
问：东三省被日本占去了，你们痛恨吗？
答：十分痛恨！
问：我们的国家快要亡了，你们还不警醒吗？你们应怎么办呢？
答：我们早就警醒了。我们一定要团结一致，共同奋斗！
在编的《吃饭歌》中就有：“……日本军阀，国民之敌；救国救民，我辈天职。”还有在9月18日这天，全师官兵要举行“国耻纪念日”，进行各种国耻纪念活动，其中一项是买来几头猪，贴上“日本帝国主义”字样，每连派出一名士兵，端起剌刀向肥猪猛剌过去，哪个连队剌死了，那个连队抬走吃肉。
二十九军改编以后，已成为统一的国民军，但因非蒋介石之嫡系，因而仍然受到猜忌，所以对二十九军特别是张自忠的三十八师，采取挑拨离间的手段。
张自忠有一次收到两封信，他看后，打电话把二二六团团长佟泽光从昔阳叫到平定师部来。
佟泽光来了以后问他道：“师长，你叫我来有什么事？”
张自忠：“我这里有两封信，你先看了再说。”说着拿出两封信来递给佟泽光。
这两封信都是写给佟泽光的，一封是刘峙来的，一封是程潜来的。均以复信口气，似乎佟泽光给他们曾通过信，大意是：大函已悉，已转上峰，谅无问题。希待机而动……。
佟泽光看后，气得把信扔在桌子上说：“我和他们毫无关系，既不认识，也没去过信。这两封信纯系造谣，挑拨离间！”
张自忠道：“你也别激动。你的认识和我一样。我们不会中人挑拨离间之计，也不能中别人挑拨之计。我对你是相信不疑的。如果对你有怀疑，我不会把你从昔阳叫来，把信给你看了。”
佟泽光感激地：“谢谢师长对我的信任。”
张自忠道：“早在曲沃的时候，就接到类似的一封信，知道是挑唆，不值一笑，所以没有叫你看，我把它烧了。现在又来这两封信，明知道是造谣离间，我想不能再让你不知道，如果不坦率和你说明，倘若传到你的耳中，反而增加误会，所以请你来当面说明。你需要安心工作，用不着去想他。我再说一遍，我完全信任你。”
这使得佟泽光十分感动。后来佟在回忆录中写道：“师长这一番话，坦率真诚，使我铭感肺腑。”
张自忠苦苦练兵，要求十分严格。他还要求军官，与士兵同甘共苦，士兵们穿什么，军官也穿什么；士兵们吃什么，军官们也吃什么。军官一律不准特殊化。他要把他的三十八师练成一支铁军。那才能在战场上和日本侵略者一决雌雄，以雪国耻。
