1．雁北受挫
北京政变后，冯玉祥会同奉系军阀张作霖成立了以皖系头目段祺瑞为首的北京临时政府。不料，段、张相互勾结，排挤冯系，使形势很快逆转。1924年11月24日，冯玉祥通电下野，隐居京西天台山，以示不满。
段祺瑞在将华北地盘畀予奉军之后，又于1925年1月任命冯玉祥为西北边防督办，将贫瘠的西北地区让给了冯军。冯玉祥受任后，设督办公署于察哈尔省会张家口。冯治安、张自忠随即率卫队旅移驻张家口，并奉命在督署附近修建了一座新村。新村占地很广，内设兵工厂、高级军官补习所、西北妇女讲习所，还盖有一座大讲堂，供开会、上课之用。因来张家口的旅客较多，而这里的俄国饭店又极昂贵，冯玉祥又命卫队旅修建了一座旅馆，取名“诚洁旅舍”，作为旅客的住宿之地。
此前，在段祺瑞主持的一个会议上，由于陆军总长、皖系人物吴光新（字自堂）的极力主张，会议决定取消国民军的名称，将冯部改称“西北军”。冯玉祥未出席会议，听说名称改了，只好认可，并于1924年12月24日通电全国，宣布取消国民军名义。从此，冯玉祥部就被人们称为“西北军”。
不过，国民军的称呼后来仍常被人们沿用。
石友三
1925年4月，冯玉祥聘请的苏联顾问团分别抵达张家口、开封，协助西北军训练部队，内有炮兵、工兵、骑兵、战车、交通、战术、政治等方面的顾问。卫队旅同其他部队一道接受苏联顾问训练，这是张自忠首次同苏联顾问打交道。从苏联顾问的训练方法中，他学到不少新东西。
在这前后，一位身材清瘦的青年军官从热河都统署调至张自忠团任团副。此人姓张名克侠，河北献县人，1923年毕业于保定军官学校，后来又秘密加入共产党。他稳健冷静，长于运筹，成为张自忠的得力助手。
9月，西北军又一次扩编，石敬亭升任第五师师长。12月，张自忠升任第十五混成旅旅长，归石敬亭节制，下辖3个步兵团（第四十三团团长薛家斌，第四十四团团长任子杰，第四十五团团长张骏，即张知行），参谋长梅启运，营长有刘振三、李致远、李兆、王克明等人。张自忠从此成为西北军一员重要将领。次年4月3日，张自忠晋升陆军上校并加少将衔。
履新不久，张自忠即移驻包头，训练所部新兵。张克侠则调宋哲元热河都统署高级参谋，二张分开。
由于石敬亭远在张家口，冯玉祥命张自忠就近归第六师师长石友三指挥。石友三（1891-1940），字汉章，吉林省长春农安人。此人一生中投机钻营，反复无常，人称“倒戈将军”。事实证明，将张自忠和石友三这样的人安排在一起，是冯玉祥用人上的失策，而张自忠也因此遭受一个不小的挫折。
1926年，直奉军阀以冯玉祥“赤化”为名，组成规模庞大的“讨赤联军”，对西北军发动进攻。冯玉祥为转移目标、保存实力计，遂于3月间以游历为名，携幕僚何其巩等人赴苏联，顺便同苏方洽谈军火援助问题。所遗西北边防督办一职交张之江接任，西北军亦由张指挥。在四面受敌的险恶形势下，西北军被迫于4月放弃京津，沿京绥线退往热、察、绥，主力集中于北京西北战略要地南口。1925年，冯玉祥曾率部在此地构筑了绵亘百余里的坚固阵地，现在终于派上了用场。
西北军退守南口后，共推张之江任总司令，并分路进行防御准备：南口方面为东路，以鹿钟麟为总指挥；南口左翼至多伦为北路，以宋哲元为总指挥；南口右翼至蔚县为中路，弓富魁任总指挥。
西北军在南口布置甫毕，晋军统帅阎锡山为示好直奉，忽于5月初派商震为总指挥，趁火打劫，出兵晋北，并将天镇以西至大同间铁路拆毁，截断西北军后路。这样一来，西北军东、西、南三面受敌。张之江遂改变战略，以宋哲元任西路军总司令，统帅韩复榘、石友三等部奔袭晋北，攻击晋军。
石敬亭因就任后方总司令，驻平地泉维护后方交通，所部第五军（由第五师扩编）分别配属东西两路作战，其中张自忠之第十五混成旅配属西路军，仍归石友三指挥。
西路军的作战计划是：以第八军韩复榘部为中路，进攻大同；以石友三第六军（由第六师扩编）为右翼，会同蒋鸿遇部进攻左云、右玉、平鲁等县；以孙连仲部为左翼，会同方振武部进攻天镇、阳高、灵丘、广灵等地。第一步先攻下大同，恢复京绥交通线，然后会师桑干河左岸，肃清雁门关以北地区。
5月18日，西路军开始向晋军进攻，揭开了南口大战的序幕。继之，南口方面也燃起战火。西路军之右翼军在石友三、张自忠指挥下，连克左云、右玉后，直趋雁门，晋军望风披靡，向东南方向逃遁。迨逃至雁门关后，深沟高垒，凭险固守。西北军攻势受挫，被迫退守左云、右玉一线。石友三遂将张旅一团调归自己直接控制，张自忠率剩余部队据守山阴县桑干河北岸，与晋军对峙。
西北军因群龙无首，加之给养不继，难以组织有效进攻，故右翼军与晋军相持数月之久，未能突破晋军防线。8月，西北军主力在南口失利，向绥远撤退。右翼军陷于前后受敌之境，军心离散，处境被动。晋军乘机出兵截击，战局急转直下，西北军守地接连失陷。韩复榘、石友三见大势已去，遂生歹意，他们拒不跟随宋哲元西撤，而是企图吞并异己，另谋出路。张自忠之第十五混成旅遂成为石友三图谋的目标。
按西北军惯例，失守城池，擅自撤兵是要军法从事的。生性残暴、惯于损人利己的石友三，暗中向西路军前敌总司令韩复榘诬称张自忠抗拒命令，拥兵不救，致使防地失守，请韩按军法严办。石的盘算是，这样一来可借此推脱罪责，二来可乘机吞并第十五混成旅，可谓一箭双雕。
在石友三暗施毒计之时，张自忠还蒙在鼓里。一天傍晚，第十五混成旅阵地右翼哨兵发现一形迹可疑之人路过，便将此人拿获，从他身上搜出了石友三给韩复榘的诬告信。张自忠大吃一惊，顿感处境险恶，必须亟谋善策，以避陷害。左右官佐为张鸣不平，鼓动他率部队出走。张自忠冷静地说：“大家不要鼓噪，大敌当前，必须服从命令，坚持下去！石师长对你们没有什么，只我一人需要逃命。我不怕死，但这样死是没有意义的。”
经反复考虑，张自忠决定暂且过河投奔晋军总司令商震。次日黎明，张便以察看敌情为名，带两名卫兵来到本旅第四十五团阵地前哨线，对团长张骏谈了昨日搜获密信的情形，并说：“目前冯总司令已往苏联，石长官（敬亭）远在绥远，没人替我说话，我已陷入绝境，决不能坐以待毙！我并不怕死，但这样死太冤枉，所以决心去投商震总司令，暂避石友三的陷害。”张骏对此事毫无准备，听后感觉突然，顾虑重重地说：“阎老西、商震阴险善变，千万要仔细想想后果如何？”张自忠胸有成竹地回答：“商震是我在二十镇的老长官，他不会以战俘待我。”正说话间，韩复榘已来到四十五团炮兵阵地。他听信石的诬告，竟然命炮兵向张自忠、张骏所在的小树丛开炮轰击。两人见情势急迫，赶忙带领卫兵和李兆骑兵营渡桑干河南走，投晋军商震暂避，特留刘振三营长率部随大军行动，以便日后向冯玉祥申辩。
抵太原后，商震果然友好地接待了张自忠，并委以晋绥总部“参议”职，委张骏为“谘议”。后来阎锡山有意为张自忠编一个师，被张辞谢了。
石友三因计不获逞，恼羞成怒，便四处搜寻张夫人和两个孩子，欲加害他们。当时张夫人和两个儿子住在绥远丰镇，已与张自忠失去联系。幸好身边有副官朱增源、军需李桐文照应，这两人忠心耿耿地帮助张夫人四处躲藏，并将廉珍、廉静藏到一个教堂里，好不容易才躲过石友三的搜查。张自忠得知消息后，急忙派人将他们接至太原。具有讽刺意味的是，大骂张自忠投晋的石、韩二人，后来自己竟主动背叛西北军，投入阎锡山的怀抱。
时光一天天地流逝。当南口陷落和雁北失利的消息传到莫斯科近郊的一个村落时，下榻在此的冯玉祥再也住不下去了，急急忙忙带领左右疾驰返国。9月15日，冯一行抵达塞外小城五原，他在这里集合所有残部，举行了著名的五原誓师，宣布就任国民联军总司令，同时全军加入国民党，参加北伐。这是西北军历史上的一个重要事件，也是一个转折点。
冯玉祥、蒋介石、阎锡山合影
其时，驻守西安城的西北军杨虎城、李虎臣两部已被镇嵩军刘镇华部围困了8个月。城中易子而食，饿殍遍地。冯玉祥一面发兵救援，一面赴包头收容石、韩旧部。这时，阎锡山也派代表来包头谒冯，解释此次出兵大同、截断西北军归路乃是出于“误会”。冯不便与晋军以仇相见，也就打着圆场说：“我自己远在异国，小兄弟们不了解阎省长的衷怀，以致引起双方的误会，兄弟深为惋惜！”“误会”二字在中国的运用可谓巧妙而广泛，每每借着这两个字，双方战云初消即可握手言欢。
由于冯玉祥的归来，一时间西北军激起了革命的潮头。但太原这边，张自忠却无所事事，变成了无聊的闲人。大凡天下所有的闲人都会诅咒太阳的迟慢，张自忠时时被一种莫名的失落和沮丧所袭击，觉得自己如同一只离群的孤雁。对于如何消磨沉闷的时光，他始终想不出妥善的办法。有时与朋友打打牌，有时闭屋读读书，偶尔到戏院看看戏，但也提不起兴致。冯先生的归来使他看到了希望，但又担心冯误会自己而不敢前去谒见。
1927年4月，武汉国民政府委冯玉祥为国民革命军第二集团军总司令。当年夏季，冯从刘振三口中得知张自忠被迫出走的经过，即书“速回”手令给刘，并命参谋长石敬亭派人持函赴太原与商震接洽，请张归部。张自忠喜出望外，商震也欣然同意，并派人将他护送至西安。冯玉祥当天就召见了他。张自忠噙着眼泪向敬爱的老长官倾诉衷肠，述说委屈，冯先生抚慰有加，勉励他振作精神，再图大业，当即委以运输副司令职（司令由集团军总部副官长许骧云兼任）。几天后，冯玉祥将许骧云调为运输司令，任命张自忠为副官长，以示信赖。张对冯的信任终生铭记，后来每谈及此事，都几乎落泪。石友三做了亏心事，得知张返部并任副官长，心中极为不安。为防止张借机报复，他特地委托一位叫萧振瀛的同乡送来兰谱，要求结拜兄弟，以求和好。性情宽厚的张自忠乐得借此缓解矛盾，了结恩怨，便同意了。在和萧振瀛的接触中，张自忠发现萧口才极佳，奇其人并从此与之相识。
屡次将张自忠划归石友三指挥，乃冯玉祥一大败笔，说明冯对部属之善恶忠奸缺乏判断，一些品行不端者常被冯视为心腹股肱而加以重用，不但张自忠，即使冯本人后来也被石友三、韩复榘之流拖累。由石友三之陷害而导致的雁北风波虽得以平息，但此事对张自忠后来的发展影响甚大。在日后的岁月里，还是有些不明真相或别有用心之人，对张的投晋间有微词，言张二三其德，有人甚至以此在冯玉祥面前进谗言，以致损害了冯对张的信赖。张自忠对此十分痛心，但他认为要检验对冯先生是否忠诚，应当以日后的事实为证，故并未振振有词地为自己剖白。
2．治军高手
1927年5月，冯玉祥统率第二集团军东出潼关，讨伐奉张。张自忠随总部移驻郑州。同年底，张自忠升任第二十八师师长，参谋长为保定军校九期毕业生王雪生；张同时兼郑州警备司令，负责维持郑州治安，保卫总部安全。
任28师师长兼第2集团军军官学校校长时摄
第二集团军总部移驻郑州后，冯玉祥为培养中下级干部，在原学兵团基础上成立了一所军官学校，全称“第二集团军军官学校”。校长初由日本士官学校毕业的徐廷瑗担任，但西北军毕竟不同于日本军队，徐在日本所学的一套并不适合于西北军的实际。冯玉祥察觉此情之后，即将其调任总部军政司长，命张自忠兼任军官学校校长。张自忠任学兵团长多年，富有军事教育经验，任军官学校校长自然驾轻就熟，十分内行。
军官学校下设两个大队，大队为团的建制，下设中队（营），中队下设分队（连），分队下设小队（排），各级队长均由二十八师军官调任。
1928年初，张自忠率二十八师及军官学校迁至兰封（今属兰考）。7月又移至开封，这是他第二次驻开封，师部仍驻南关演武厅。这时，二次“北伐”已告结束，西北军实行缩编。经过第一期缩编，冯玉祥的嫡系部队整编为12个师，共22万人。张自忠之二十八师改编为第二十五师。这12个师是西北军的精锐部队，番号如下：
第二十师 师长韩复榘 第二十一师 师长梁冠英
第二十二师 师长吉鸿昌 第二十三师 师长冯治安
第二十四师 师长石友三 第二十五师 师长童玉振
第二十六师 师长田金凯 第二十七师 师长张维玺
第二十八师 师长宋哲元 第二十九师 师长刘汝明
第三十师 师长佟麟阁 第三十一师 师长孙连仲
1929年初，童玉振、冯治安被保送陆军大学特别班第一期学习，职务分别由张自忠、魏凤楼继任，佟麟阁因与马家军作战不力，与刘汝明一起调南京军政部，第二十二师师长吉鸿昌调第三十师师长，第二十二师由程心明继任，第二十九师师长由程希贤继任。张自忠任第二十五师师长，参谋长为当年任模范连长时的学兵吴化文。
第二十五师辖3个旅，兵力2万余人，是第二集团军中编制最完备、装备最精良的一个师，被冯玉祥定为“荣誉师”。原三十六师师长董振堂任副师长。董振堂，即为张自忠部将董升堂之弟，后参与宁都起义，投奔红军，成为红五军团军团长，1937年1月在甘肃高台与马步芳部的激战中牺牲。
张自忠在“北伐”中并未参加前方作战，何以能在缩军整编，众多军师长遭到裁降的情况下，反被委以重任呢？这主要是因为他治军严明，善于练兵。
张自忠自投奔冯玉祥后，历任各级军官，并以相当精力从事军事教育工作，显示了突出的治军才能，造就了一批又一批训练有素、善打硬仗的部队，并培养了上千名中下级军官。这些青年军官遍布西北军各部队，成为各部的中坚力量。经过十余年的奋斗，张自忠的治军和练兵在西北军已颇著声誉，为人称道。
1929年初，蒋介石举办了一次全国范围的军风纪考察。第一师师长刘峙任检查团总团长。这次检查以师为单位，刘峙率团巡视南北，逐一考核，张自忠的第二十五师军容严整，训练有素，令刘峙叹服。结果这次考核第二十五师列全国陆军第一。刘峙在最后的讲评中深有感触地说：“二十五师虽是全国第一，它的各个方面我们都可以学习，但有三方面却是我们学不了的：第一，二十五师官兵服装全师一致，上至师长，下至伙马夫，服装一律相同，一般的部队，高级将领的服装都不同；第二，全二十五师从师长到战斗兵，面色都一致；第三，我来看这个部队，从早上八点开始，一直到十二点，没有看到一个动的和讲话的，这种纪律，生平仅见。”
张自忠追随冯玉祥多年，耳濡目染，深受影响，因此其治军基本取法于冯玉祥的经验，并在实践中加以充实和发展，形成了更为丰富和更为鲜明的特点。
众所周知，民本思想是中国传统儒家文化的一个显著特征。进入近代中国，尽管形形色色的政治思想纷纷出现，但传统的重民思想仍然得到了继承，并且在半殖民地的条件下引申为强烈的爱国主义思想。这种爱国爱民思想在近代建军进程中得到贯彻。冯玉祥的西北军在这方面堪称典型。
张自忠从追随冯玉祥的第一天起，就开始接触冯玉祥亲自主持制定的《爱民十事》《爱国精神三十条》等爱国爱民条规。这些条规详尽具体，通俗生动，富有特色。官兵们对这些条规奉行唯谨，故该军所至，人民闻之，“皆欣欣然有喜色也”。
1926年北京政变后，冯玉祥下令在全军官兵左臂缀以臂章，上书“不扰民，真爱民，誓死救国”十个字。这十个字通俗地概括了冯玉祥爱国与爱民的政治理想，也与张自忠的政治思想完全合拍，因此张自忠完全彻底地接受了这个著名口号，并以此作为治军宗旨，在实践中不遗余力地身体力行，贯彻落实。每到一地，除训练外，张自忠总要带领官兵帮助驻地百姓耕种、收割、修路、挖河、扫街、植树，力求做到每驻一地，为福一方。其中有的工程规模相当大，如1924年驻兵南苑时率学兵团疏浚永定河，1928年驻兵开封时率第二十五师修筑通往南门的马路等等。这些造福于民的工程，在几十年后的今天仍发挥着作用。
针对官兵文化水平不高的实际情况，西北军的爱国爱民教育通常都采用十分通俗的形式，效果甚佳。给人印象最深的就是每天清晨的“朝会”。驻兵开封时，第二十五师官兵和军官学校学员每天清晨都要跑步到南门外的“演武厅”大操场举行朝会。朝会一宣布开始，张自忠便大步流星登上指挥台，高声喝问：
“你们的父母是什么人？”
众答：“老百姓！”
问：“你们的兄弟姐妹是什么人？”
众答：“老百姓！”
问：“你们参军、入学前是什么人？”
众答：“老百姓！”
问：“那我们应不应该保护老百姓？”
众答：“应该！”
这种“官兵问答”的仪式最初是由冯玉祥创立的。仪式完毕，官长开始训话；训话结束，开始军事训练。
问答之外的另一种教育形式是唱歌。起床时要唱《起身歌》，吃饭前要唱《吃饭歌》，睡觉前要唱《睡觉歌》，犯了错要唱《悔改歌》，还有《国耻歌》《爱民歌》等等，歌词内容都是勉励官兵爱国爱民、遵纪守法、团结互助、勤学上进、英勇杀敌的。
为了让官兵们时刻铭记国耻，张自忠还采用了一种别致的方法——绘制“国耻地图”。凡被列强侵吞的中国领土，都在图上用红色标明，并注明侵略者、侵略时间及侵略方式。官兵对“国耻地图”要熟读熟记，随身携带，以备查阅。
张自忠还命令每个士兵在自己的床头贴上志愿书一类的东西，有八条、六条不等，讲述自己的志愿，如爱国、勤学、杀敌、立功等等，每天对照检查自己的言行，以激励上进之心。
西北军士兵几乎全部招自乡村，绝大多数为文盲，这对于实施系统有效的军政教育训练是一个极大障碍。因而，张自忠非常重视士兵的文化教育。他的方法有三条：第一，让士兵们先学会自身最切需的简单字；第二，每个字都要从读音、字义、笔法三个方面掌握；第三，组织考核，增进竞争心，成绩太差者不予提拔。他要求士兵每天至少认识一个字，三年内至少认1000个字，达到会写白话家信的水平。上完了识字课，再让士兵们学习难度深一些的《军人读本》《军人宝鉴》《军人教育》《军人精神》等等。西北军的许多士兵就是这样一步步地学习文化，提高素质，然后晋升为军官的。
由以上事实可以看出，我们以往认为旧军队不教而诛，单靠惩罚来治理军队的观点并不完全正确。实际上，从曾国藩的湘军、李鸿章的淮军、袁世凯的新军，直到蒋介石的国民革命军和冯玉祥的西北军，都无一例外地把正面说教置于相当重要的地位。只不过他们囿于各自的阶级性，其所理解的“国”与“民”是有局限的，而且在实行的程度上参差不齐。
西北军实行爱国爱民精神教育的目的，意在使官兵们心中有国家、有百姓，要他们记住老百姓的养育之恩和自身对于国家的责任。这在很大程度上反映了冯玉祥、张自忠等人的个人思想风格。显然，这种精神教育具有积极意义，它不仅可以培养激发广大官兵为国家为民众而战的勇气，而且可以提高他们为此而遵纪守法的自觉性。但同时应当指出，包括张自忠部在内的西北军的精神教育，仍有相当缺陷。它仅仅停留在爱国爱民的一般教育上，缺乏一个完整进步的思想理论体系，因此它难以保证全军坚定不移、始终如一地沿着正确方向发展，而常常是以高级将领个人的取向为依归，一荣俱荣，一损俱损。西北军后来分崩离析、各谋己路的结局证实了这一点。
与正面劝导对应的是军法制裁。在正面教育不能完全解决问题的情况下，严明的军纪是养成部队战斗力和维持军民关系的基本保证。张自忠曾经研习法政，对于法纪规章的重要性自然有着更加深刻的认识。他自己也曾在自传中谈道：“因为我是学过法律的人，对于军纪是特别的注重。我觉得这对于我以后治军都有很大的帮助。”
西北军军纪是相当严明的。例如，关于行止出入有三条规定：（一）无论行军、驻军、宿站、尖站（即途中小憩用餐），不准官兵私入民宅商号。（二）娼寮、酒馆及戏园，严禁官兵入内滋生事端。（三）官兵无事，不准外出，“如士兵必须外出者，须有官长带领”。其他如食息寝兴之事，也皆有明文规定。用冯玉祥自己的话说，就是“凡官兵之一举一动，莫不范之以规矩，绳之以法度，使之习而安之。”
既然制定了军纪，就必然出现一旦违犯军纪如何处置的问题。在这方面，西北军与其他旧军队一样，仍保留了肉体惩罚的旧习。如张自忠规定，有事请假外出，必须准时归队销假，逾假不归而又无正当理由者，罚。外出服装不整，走路抽烟、吃东西，两人以上不排队行走，路遇友军不互相敬礼，都要罚“禁足”，甚至关“禁闭”。至于在外酗酒，违章犯纪，轻者罚跪，重者棍责，绝不宽容。军官学校学兵一律剃光头，不准喝酒和抽烟，违者必罚。
对军官的约束也非常严厉，失职或违纪者同样难逃惩罚。在军官学校的一次朝会上，张自忠因对训练不满，一时火起，当场喝令两个大队长原地跪下，然后拎着军棍走到第一大队张大队长跟前，喝令：“趴下！”张大队长乖乖地趴在地上，只见张自忠抡起军棍朝着张大队长屁股狠打一阵，随即来到第二大队刘大队长跟前，同样命他趴下，可是这位刘大队长十分乖巧，他突然拔腿跑开，跑出好远，然后面对张自忠跪下来，总算逃避了一顿军棍之苦。这是张自忠体罚军官的一个典型场景。
张自忠反对军人干预地方政务，无论部队驻扎何地，从不插手地方事务，也不准属下军官回家乡干预政务。他部下一位团长李某，其父曾任河南长垣县民团团长，在该县买地200亩，卸任后因土地问题与人发生诉讼，经年未得解决。李团长向张请假，要求回长垣解决土地问题。张自忠明确回答：“军官不能打官司，可以请求解职，以平民的身份讼诉，结束后回队另用。”从这件事，我们可以看出，张自忠具有相当进步的法律意识，这在当时的高级将领中是十分难得的。如遇士兵家中与人发生纠葛受到欺压，张自忠也不许士兵回乡干预，而是责成有关部门写信促其合理解决，以安军心。
驻扎开封期间，张自忠除任二十五师师长外，还兼任开封警备司令，负责管理治安，维护秩序。他的一位远房族弟张自遂当时在开封兵工厂做事。一天，有人看到他在小巷中调戏妇女，立即报告了张自忠。张自忠正要找他，恰逢他上门探望，张自忠不动声色地写了封信，密封后让他送交警备司令部军法处的边处长。张自遂以为有什么好事，连忙兴冲冲地将信送给边处长。边当场看了信，对他说：“你调戏妇女的不法行为司令已经知道，他指示按军法严办！”当即给张自遂戴上镣铐，监押起来，后又驱逐回乡，永不录用。
张自忠治军提倡朴实、勤俭，力戒奢华、花哨。一次，他看到一位教导队长未穿军鞋，而穿呢鞋，斥责说：“军中不准有俏皮样子，罚你立正！”后来，在开封演武厅阅兵时，他发现七十三旅王号长未按规定穿黑色袜，而是穿了一双灰色袜子，很生气，说：“在这样的场合，你怎敢违犯军纪？”说罢，即命军法处将王号长扣押多日，并罚该旅庞振江旅长立正两小时。
张自忠认为，对军人而言，战时最不可饶恕的罪行便是贪生怕死，违抗军令；平时则以贪污、“喝兵血”最为可恶。吃空额是军官贪污的重要途径，即故意多报兵力数，或将死亡、逃跑者隐匿不报，冒领军费，将多余钱款据为己有。为杜绝吃空额，张自忠规定，无论哪个部队，凡有了战死、病亡或逃兵，须于24小时内报师，查有不报或冒名顶替的，一律将主官撤职。这样做，不仅防止了官长贪污，且可以准确掌握部队战斗力。在一次检查卫生时，检查组查出机枪营营部军需处的箱子中有一小袋私刻的粮行印章。张自忠一看便知其中奥妙，大骂该营营长申乐成：“你这混蛋克扣哑巴兄弟的口粮作假报销，看我不扒了你的皮！”当即令军法处责打200军棍，撤职镣押，永不录用。后来，又发现一位营长账目不清，侵吞士兵的存款。张自忠极为震怒，集合全师干部训话。只见他双手叉腰，目光灼灼，气势逼人，厉声训斥那位营长说：“你这种恶劣的行为，是军中的败类，团体的蟊贼，害群之马，……看我不扒了你的皮！”说着，亲自抡起军棍狠狠地打了他200军棍，直打得皮开肉绽。打完了，还觉得不解气，又痛斥说：“钱是爹，爹是王八蛋，见了钱连你亲爹都不要了！你今天喝兵的血，明天兵就要吃你的肉！”
在西北军，官兵们为几个治军严厉的将领编了顺口溜：“石友三的鞭子，韩复榘的绳，梁冠英的扁担赛如龙，张自忠扒皮真无情！”久而久之，“张扒皮”这个诨号西北军上下无人不晓。但军棍打得太过，也有问题，比如有一次李九思犯了错就被他打得两个月不能下地。冯玉祥得知这个情况后，专门制定了“八不打”的规矩，供张自忠遵循，即：“有病不打，盛气不打，盛暑不打，饭前不打，无恩不打，罚过不打，夯兵不打，不知不打。”从“八不打”的实践中，张自忠体会到治军要因情而宜，不能千篇一律；更重要的是，对士兵要恩威并用、宽严相济，无恩而威、一味严惩只能徒增怨恨。深刻理解了“治兵先治心”的含义和“恩威并用”的运用之妙，张自忠的治军之道又有了新的提升。
张自忠对于士兵有着深厚的感情，并对士兵的成长倾注了巨大心血。他为士兵们置办了各种运动器具，让他们锻炼、竞赛，还设立了图书馆和俱乐部，举办各种读书竞赛和游艺比赛，吸引士兵们参加阅读和健康的娱乐活动。身为高级将领，他甚至不辞辛劳，时常深夜巡视士兵寝室，代盖衣被。他还经常出现在连队食堂里，与士兵一起吃饭，边吃边看饭菜做得怎样，如发现不符合标准者，即命值日官改正；如饭菜做得很差，负责管厨的排长或司务长就要受到训斥。一次，他在与士兵一同吃饭时，发现米饭中掺有许多沙子，当即将该连司务长撤职。
军营和士兵个人的卫生同饮食一样关系到士兵身体健康，张自忠抓得很紧。到连队巡视时，一见到连长他首先要问：“你们连里有病号吗？有几个？什么病？是怎么诊治的？”来到士兵宿舍，他要拉开被褥看看脏不脏，叫士兵脱下军装，看衬衣是否干净。来到厨房，要看伙夫的指甲剪没剪，各种炊具洗得干不干净。有时训练间隙，他会命令士兵列队集合，让他们摘下帽子，看头发长不长；让士兵瞪大眼睛，看看有没有害眼病的；让士兵张开嘴，看是否经常刷牙；让士兵坐在地上，脱去鞋袜，看有没有洗脚，有没有患脚气、脚垫、鸡眼……对于病号少、士兵讲卫生、军营整洁干净的营连，予以奖励；反之轻则告诫，重则惩罚。由于张自忠的重视，所部驻地环境卫生良好，宿舍内整齐洁净，病号极少。但也有人认为高级将领，抓这类零星小事，未免小题大做。张自忠听到这个反映，特地向官兵们作了解释，他说：“讲卫生保证士兵身体健康，是增强战斗力的重要因素，不能忽视。害眼病、闹脚病谁也知道不是大病，但是对军人来说是非常重要的。军队是集体生活，眼病容易传染，如果有一个害眼病的，就可能传染到一个班。军队时时刻刻准备打仗，一旦接到命令，立即开赴前方对敌作战，如果一个连有三分之一害眼病，怎么能够瞄准射击歼灭敌人呢？如果许多人患脚病，怎么能完成行军，机动歼敌？两军对战，你没有力量去歼灭敌人，就有被敌歼灭的危险，这样的军队哪能完成任务呢？军人在战斗中完不成任务，还能说是小事吗？再说，做官长的，对士兵的身体健康不闻不问，漠不关心，这能密切官兵感情，搞好团结吗？部下如果有了伤病，你做官长的就应当关心他们，照顾好他们，使他们尽快康复。如果一连之中经常有三个以上不能出操的病号，那么我就要罢你这个连长的官！”
有一次，他冷不丁地向站在身边的一位团长问道：“你团眼下共有多少病号？”
这位团长支吾其词，讲不清楚。张自忠马上变了脸色：“告诉你吧，有11个！你整天都在忙些什么？关心病号是你分内的事，你要记住，对兵没感情，一定逃兵多！”
1923年冬天的一个晚上，张自忠指挥部队演习挖掘散兵壕。在黑暗中，某连一位士兵的手被铁铲砸伤，后来被迫做了截手手术。该连连长既痛心士兵的不幸，又担心自己因此受到惩罚。张自忠看出了连长的心事，便安慰他：“这也是我的责任，我们只有好好照料他把伤养好，才能尽到我们的心意。”这番话使连长很感动。后来，张自忠还专门拨了一笔款项，照顾这位伤残士兵和他一家人的生活。
张自忠规定，士兵每人每月要写一封家信报告在营生活状况；各部官长要在家信的末尾附笔数言，向士兵家长致意。士兵存款，积至整数，由官长负责代汇。凡有士兵家长来营，各级官长要尽量陪同参观，陪同吃饭，走时奉送路费，使家长们放心满意而归。这些做法深得人心。
张自忠待人慷慨，不事私储，视钱财为身外之物。但是，金钱对于军官有什么影响，如何处理军中的钱财问题，却是他不得不考虑的问题。他根据自己多年的经验认为，官兵太富了，不肯卖命，太穷了又会饿跑。他的办法是：不给官兵太多的钱，但有困难可以找他解决。官兵们知道他慷慨好义，有事便找张自忠借钱。只要手头有钱，他总是说：“要多少？写个借条来。”官兵们摸透了他的脾气，就预先写好借条，然后开口要钱，没有不如愿以偿的。这样“借”去的钱，自然不需归还。这样一来，常闹得军需处无钱应付，有时实在没办法，张自忠干脆把自己的薪水也掏出来应急。
干部是军队的核心因素。张自忠对于干部的要求较之士兵严格得多。军官们每有过失，轻则训斥，重则惩处，从不迁就；但时过境迁之后仍予以改过自新之路，如有优良表现，照旧可以获得晋升。因而，许多军官虽然挨了骂、挨了打，甚至被降职或撤职，却心服口服，对他始终如一。
张自忠性格直率，待人处事喜欢直来直去、开诚布公，厌恶转弯抹角、表里不一。无论何人，有话都可以找他当面讲，即使讲了错话或与他发生争执，他也不会记在心里；反之，谁若有话不讲，背后嘀咕，暗中捣鬼，让他知道后决不客气。张自忠个性直率的另一个表现是喜怒哀乐溢于言表。他的右腮长着一颗小小的黑痣，上面的几根长毛，一直被他保留着。每当他的右手不自觉地摸着黑痣，面色和悦，与他相处长久的官兵们一看即知他一定心情很好，便会纷纷凑到跟前，向他要钱要东西。每逢节日或课间休息，士兵们若见他高兴，就三三两两来到他的宿舍，听他讲笑话，有的调皮士兵故意把他的手表或心爱的什物藏起来，待他遍寻无着时，才拿出来。这时，张自忠会亲昵地揍上一拳，说：“看我不扒了你的皮！”小屋里立刻充满了欢乐的笑声。有时候，张自忠高兴了，还组织士兵们做游戏，他把用品藏起来，叫士兵们分头去找，找到的有奖，找不到就罚“立正”。在活泼的娱乐中，官兵之间的感情无形地加深了。但是，每当官兵们发现张自忠两手摸着臀部，默不作声的时候，就会远远地躲开他，他们知道，师长不高兴之时总有这样的习惯动作，谁若在这个时候不知趣地凑近乎，必定逃不脱一顿责骂，甚至要挨上几脚。
一次，有一位记者前来二十五师采访，顺便问起士兵们对张师长有何印象。大家七嘴八舌，议论纷纷。一位士兵道出了大家的共同感受：“我们是见了师长怕师长，不见师长想师长。”说得大家都笑了。
勤奋认真、身先士卒是张自忠治军的另一个显著特征，也是他在治军上能够取得成功的重要因素。与他合作多年的张克侠回忆说：“公日夜勤劳，整日出入于操场兵舍之间，几不知休息。其习劳耐苦之精神，真有望尘莫及之慨。”
在学兵团长任上，他每天除了睡眠、吃饭时间外，无论春夏秋冬，总是不知疲倦地在兵营大院里转来转去，把全部精力用于治军和练兵——有时考核课堂学习，有时检查部队训练，有时巡视军营内务，有时指挥战术演练。夏季里酷暑蒸人，官兵们午休时，他还要筹划下午的训练；冬季里天寒地冻，官兵们睡熟后，他还要检查兵营，替士兵们盖好衣被。每日清晨的朝会，他场场必到。当官兵们听到号声跑步到操场集合时，张自忠总是早已等候在那里，从无一次缺勤或迟到。
巡视兵营时，他通常将号兵带在身边，一旦发现问题或遇到需要改正的事件，就令号兵立即吹号，召集各部主官，随时指示，立予改正。曾在他手下任连长的张知行说：“像这样的临时集合，每天不知有多少次，我们这些当连、排、班长的习以为常，都悉心准备听候集合的号音，一点也不敢松懈。”张自忠的老长官鹿钟麟在谈及张的治军时，以极为赞赏的笔触写道：“在他当团长时，一团的士兵若干，病号若干，多大年龄者若干，某省籍贯者若干，识字与不识字、某种知识程度者各若干，某种枪支种类若干，适用与不适用者各若干，子弹若干等等，无不有精细之考察与日记。每当询及，立即回答，如数家珍。这虽然是一桩小事，然经过统计，则一团的真实力量，可以估计得清清楚楚，应用到战场上，才能有确实把握。”
1925年底，冯玉祥密约郭松龄反奉失败后，西北军受到直奉军阀的压迫，局势紧张。张自忠部奉命移驻绥远丰镇，准备东进。是时，张自忠任第十五混成旅旅长。部队调动时，正值严冬，路局调配的多是敞车。旅部副官交涉到一节篷车，以备旅长乘坐。张自忠到车站知道了此事，对那位副官大发脾气：“这么多弟兄都不怕冷，只有我怕冷？只知有旅长，不知有士兵，你做的什么副官！”他命令把篷车留给伤病员，自己和大家一起乘坐敞车。
张自忠无论待人处事，一是一，二是二，严肃认真，不敷衍，不迁就。1929年驻兵开封时，一位叫朱明的年轻人经同乡推荐，前来二十五师找事做。张自忠批示：“送手枪营。”后来，他偶然发现朱明眼睛近视，就断然地说：“不成，视力不好，如何射击？叫他走吧！”
“一位师长在这等小事上还这么顶真，太不近人情了。”事不遂愿的朱明颇有些愤愤然。倒是那位推荐人不仅没有生气，反而为张自忠解释说：“师长就是这么不客气的性格，刚毅，坚决，顶真，……无论对谁都一样。……他待人也极严厉，办事认真，不敷衍，不看情面，说干就干，决不含糊。因为他对自己也是这样，对上级也是这样，无论怎么困难的事，他都是自己领着头实际干，所谓‘身先士卒，以身作则’，他确实做到了。”
张自忠坚信“修身，齐家，治国，平天下”的儒家信条，把修身律己视为带兵、治军的首要前提，认为只有严于律己、身先士卒才能驭人服众，树立威信。身为一师之长，拥兵两万之众，他吃的是与士兵一样的大锅饭，穿的是与士兵一样的粗布衣，剃着同士兵一样的光头，从外表完全看不出是一位高级将领。每逢劳动，他总是同官兵们一起抬土，一块修路，决不像有些官长那样只是象征性地做做样子，而是出大力，流大汗，真做实干，不惜气力。
作为军官学校校长，张自忠号召学兵们自力更生，勤俭做人。无论买菜做饭、缝洗衣服，还是砌炕盖房都自己动手，理发也不去理发馆，每班都有一套理发工具。张自忠自己也备有一套理发具，常自己给自己剃光头，胡子长了就用弯剪子剪。天冷了，若官兵们没有穿上棉衣，他也决不穿。有一年冬天特别冷，张夫人见他的棉衣太薄，想在里面垫些丝棉，但又怕他责怪，终未敢做。
设在演武厅的二十五师师部是张自忠带领官兵自己修盖的简易平房。他的办公室是个大房间，摆放着桌凳，供开会用。两侧各有一间宿舍，左边是他的卧室，右边住着随身副官。房间门窗均挂着白布帘，陈设十分简单。属于张的所用之物，除衣履外，仅有电话、小箱、图囊、饭包、望远镜、手枪、子弹袋、雨伞及若干书籍文具等。
张自忠一家住在木厂街一个租赁的小四合院里。家中除极简单的生活用具和一部供他使用的手摇电话外，四壁萧然，甚是俭朴。冯玉祥规定，凡带有家眷的军官，每周准回家一次与家人团聚。张自忠忙于军中事务，常常几个星期回不了家，有时家中有事，他骑着自行车回去略作安排又匆匆回到军营。
冯玉祥曾深有感触地说：“吾军自成立以来十余年间，饷糈缺乏，供应窘迫，虽日在艰难困苦之中，而其结果，则军心以一，士气以固，可以穷、可以冻、可以饿、可以战、可以守，卒以人力而制伏环境，然则俭朴之有益吾军者亦大矣。”若论及此事，张自忠一定会有同样的感受。古往今来，许多名将都具有共同的宝贵品德——为将清廉。他们不仅强调以廉治军，以廉带兵，而且注重以廉养身，以廉养性，做到了“军井未汲，将不言渴；军食未熟，将不言饥；军火未燃，将不言寒；军幕未施，将不言困”。张自忠正是这样一位将领。他教官兵吃苦耐劳，自己首先加倍劳苦，不敢偷懒享受；他教官兵负责任，守纪律，自己也恪尽职守，从不敢马虎松懈。无论军纪、风纪、学科、术科或是内务与外勤，凡他所要求于官兵者，他本身无一不遵守，无一不擅长。这就是他能够确实掌握部下，建立信仰的原因所在。
3．练兵之道
作为久经战阵的军人，张自忠深知，一支成熟的军队仅仅拥有严明的军纪是不够的，它还必须具有坚强的意志和必胜的信念。这种意志与信念来自于战胜攻取、斩将夺旗的显赫战绩，一支常被敌人打败的军队显然是谈不上自信和自尊的。经验告诉他，战斗的胜利在很大程度上取决于参战官兵是否具有健壮的体魄、娴熟的技术和高明的战术，而这一切都有赖于平素的刻苦训练。
当时的训练分为学、术两科。学科是指精神教育和军事理论；术科则指体能、技能训练和野外演习。在当时的各系军队中，西北军的术科训练独树一帜，颇具特色。
术科训练的具体项目一般包括行军、跑步、射击、投弹等，西北军的不同之处在于，它增加了军体操、劈刀、刺枪和拳术等内容。军体操训练又包括单杠、双杠、跑拦阻等项目，它可以增强士兵的体力和身体的协调性、柔韧性，因而在西北军受到特别重视。以单杠为例，每个士兵必须练会三大套，即“曲身上”“摇动回转”和“拿大顶”。单杠成绩列入术科评比中，甚至把会不会三大套定为提升军官的标准之一。跑拦阻即越障，也是重要的训练项目。
刺枪、劈刀及拳术，是体力与技能的结合，从我国传统武术演变而来。在武器装备不良的情况下，这种训练对于发扬近战之长，弥补武器的劣势，最终克敌制胜具有重要意义。
张自忠很善于练兵。他往往不是站在高高的土台上观看士兵操练，而是按照训练课程，选出一两个成绩优异的士兵做示范，召集各营、连干部前来观摩学习，由他提示讲解。比如训练射击，就着示范士兵的射击动作，他站在一旁非常细致地为军官们讲解如何利用地形地物，射击姿态是否正确，持枪是否稳当，瞄准是否合理，哪些动作应当推广，哪些动作应当纠正。然后大家一起分析研究，再返回各部分头教练。训练成绩定期评比考核。
张自忠是个不知疲倦的人。他喜爱操练、阅兵，也经常向部下训话，日夜操劳，乐此不疲。他甚至经常亲自给士兵们做劈刀、刺枪、拳术的示范动作，其强健体魄和敏捷有力的动作使官兵为之叹服。他尤其擅长骑术，纵马飞驰，疾如流星，为常人所不及。身为高级将领还具备这样的体力和技能，这在无形中提高了他的威望，官兵们为有这样的师长而自豪。
术科训练的目的除健壮体魄、娴熟技能之外，更重要的还在于锻炼官兵习苦耐劳、坚忍顽强的精神。张自忠对此极为重视，他写道：
战争之事，或跋涉于冰天雪窟之间，或驰骋于酷暑恶瘴之乡，或露营于雨雪，或昼夜趱程。寒不得衣，饥不得食，渴不得水。在枪林弹雨之中，血肉横飞，极人世所不见之惨，受恒人所不经之苦。这种精神和体力，非于平时养之有素，练之有恒，岂能堪此。练兵之宗旨，以能效命于疆场为归属，应于平时竭尽手段，以修养其精神，锻炼其体魄，精娴其技术，临阵才能有恃无恐。故习劳忍苦为治军之第一要义。
这是张自忠的经验之谈，也是他的治军见解。他还进一步提出，通过训练每个官兵都要做到冬不衣裘，夏不挥扇，能忍三日之饥渴。为了达到这个目标，并使训练接近于实战，张自忠很重视训练的季节与时间安排，这就是“夏练三伏，冬练三九，夜练黑漆头”。这种做法形成了张自忠练兵的一个显著特点。
冬日三九天，全体官兵每天早上4点半钟起床，穿衣、漱口、洗脸、解手，然后整理内务、清洁环境、扎子弹带、取枪，在30分钟以内做完，最后是打背包，一件棉被、一把大刀、三条布带，必须三五分钟内打好。5时10分各部集合点名后，带到大操场，5时30分集合完毕，开始朝会和晨操。为给军官学校的新生们做示范，张自忠常把二十五师部队拉来与学兵一起操练。二十五师的士兵们在严寒的清晨，光着膀子大声喊叫着练习刺枪、劈刀和拳术，看得新兵们目瞪口呆，赞叹不已。
经过两小时晨操，官兵们略事歇息，唱着《吃饭歌》到饭堂进早餐。上下午共进行学、术两科训练8小时。张自忠规定，无论官兵和学员，只能外穿棉衣，内穿短袖衫和裤头，不得另加衣服，以锻炼耐寒能力。
晚饭后自习前，是练习铁杠、木马、刺枪、劈刀、打拳的时间。刺枪、劈刀、铁杠及射击是四项最基本的技能，上自师长，下至士兵，人人均须锻炼，参加测验，士兵团体成绩占50％，各级部队长个人成绩占50％。
强行军是三九天常进行的训练项目。腊月里的一天，地冻天寒，朔风凛冽，下了三天的积雪足有二尺多厚。张自忠下令：“明早6时，在大操场集合，官长、士兵、学兵一律参加，随带全副武装，将棉裤卷到膝盖上，一律不准戴手套，不准穿鞋袜，各部点验人数，除病号外，任何人不得请假！”大家一听，知道师长又要举行雪地赤足行军了。
次日清晨，纷纷扬扬的大雪仍未停息。西北风裹着雪花吹到每个人的脸上、身上和袖口里。脚踏在雪地上，发出“咯吱咯吱”的声音。当官兵们跑步来到操场时，见张自忠已赤着脚威风凛凛地站在大雪中的将台上了。他扼要交代了注意事项，检查了人数和服装，就率队出发了。官兵们跟在师长的后面，踏着他的足迹，精神抖擞地快速行进。往返30余里，到达终点。当他们穿过街市时，目睹此情此景的老婆婆们，竟心疼得直抹眼泪。
夏日三伏天是一年里的又一个练兵旺季。除上下午8小时课程外，还有早晚两次下操各两小时，共12小时。官兵要衣帽整齐，内穿白裤褂，外穿军衣，扎皮带，连、排长随身携带防暑药，以备中暑服用。
开封的夏日，骄阳似火，热浪袭人。军体操、劈刀、刺枪、拳术和强行军是夏季的主要训练项目。在炎热的天气里举行强行军较之冬天更为艰苦，而张自忠偏偏是怎么艰苦怎么做。
一天中午，他又决定进行全副武装赤脚强行军比赛，限定在上午11点至下午两点3个小时内往返40里。先到而无落伍者胜，有赏；超过时限或落伍过多者罚。张自忠手持锦标，仍像以往一样，率队走在最前面。一位曾参加这次比赛的军官回忆说：“路上满布着深根长蔓的野蒺藜，……一扎着就顺脚流血，地面像烙饼干锅一样烫热，上晒下烙，身上背的又重，连风纪钩也不准解开，真比上蒸笼还难受！”
张自忠身高步阔，走不多时就把队伍甩在后头了。有时他回过头来看见有人因为脚上磨起血泡、水泡，一步一个踉跄，唉声叹气，不堪其苦，便停下来，半是鼓励半是训斥地对他们说：“当兵不是做老爷小姐，忍受痛苦、战胜困难是我们的本分。在战场上受了伤也不能退却，该退时不能走也得走，起几个血泡、水泡，总比受伤要轻松得多，为什么就受不了？”他把自己磨起血泡的脚抬起来给大家看，接着说：“这血泡其实也很好治，你们看——”他说着，两脚猛地在地上连跺带搓，地上的尘土立刻染红了一小片，又被粘到了脚上。“这样可以消毒，不会溃烂的。”说罢，他又甩开大步向前走去。士兵们目睹这番情景，既是惊讶，又是惭愧，顿时振奋精神，疾步跟上前去。
夜战训练是弥补武器劣势的重要手段，张自忠对此也很重视。他所进行的夜间训练，主要内容包括紧急集合、夜行军、水平射击、对抗演习、挖掘散兵壕，以及利用星辰识别方向等等。以挖掘散兵壕为例，这项工作在冬季里难度最大，张自忠便有意把它安排在严冬季节。按照规定，严冬之夜在冰冻三尺、土地龟裂的情况下，每连一夜要完成一排人的掘圹散兵壕。显然，这样的工作量，不拼命干是难以完成的。
张自忠还十分注意雨中的训练。夏秋季节，大雨滂沱的天气，被他视为练兵良机，常常组织攻防战斗演练，锻炼雨中指挥、射击、行进和识别方位的能力。官兵们个个淋得像落汤鸡，回营后每人发一碗姜糖水，以防感冒。
在疲乏劳顿的训练中，张自忠十分注意调节气氛，鼓舞士气。每逢远程行军，他总是命令宣传队和各部队善唱歌的士兵组成歌唱队，带领官兵们唱歌，以振奋精神，活跃气氛。有时，他甚至亲自出面为官兵们消闷解乏。一次，部队长途行军，官兵们疲惫不堪。张自忠骑着高头大马出现在官兵面前，只见他戴着柳条编织的大帽子和用秫秆做成的假眼镜，帽子后面还插上一条用松枝做成的顶戴花翎，活似塞万提斯笔下的唐·吉诃德。他瞪着眼睛，努着嘴巴，骑着马往来穿梭为官兵们做滑稽表演，逗得大家哄然大笑，气氛骤然活跃起来。官兵们在笑声中变疲劳为兴奋，胜利到达目的地。
有人说，张自忠的严格训练是必要的，但总有些过分。但后来的抗战实践却证明，他的训练契合实战之需，尤其是夜战、雨战、刺枪、劈刀和强行军训练功效显著，极为实用。
学科训练，除精神教育外，主要是军事理论教育。作为一名战役战术指挥员，张自忠所负责的学科主要指战役、战术的教育与训练，尤以战术为重点。
对于学科训练，张自忠特别强调，要把军事理论与战斗实践相结合，力戒不切实际的纸上谈兵。他要求官兵在认真学习理论和确实掌握战术动作的基础上，反复进行班、排、连、营、团各级的攻防追退战术演练，提高各级军官的指挥能力和应变能力。他常亲临演练现场，为指挥者讲评，总结得失。每当发现错误，就毫不客气地指出来，令其纠正，直至挑不出毛病为止。
实战中常出现这样的情况：当部队伤亡较大时，实力相对缩减，部队长实际上只能担负下一级别的职能；而当上一级官长阵亡或负伤，则需下一级军官升迁递补。根据这个经验，张自忠规定，每级军官不仅应学会本级的战术指挥，还应当掌握上、下一级的战术指挥要领，以备战时之需。如排长要学会指挥班、排、连，连长要学会指挥排、连、营，以此类推。
多年的经验告诉张自忠，对于一个师来说，团、连两级干部的素质至关重要，因此他对于这两级干部的训练抓得最紧，经常亲自授课，监督他们指挥演习，还将团、连两级干部送入自兼校长的军官学校接受培训。他聘请了张岚峰、李学舜、黎广诗、黄培善、吴三缄、潘蕴玉、赵丰明、贾振中等人任军校教官，为各级军官和学兵们讲授战略战术和战史。
在二十五师，除学兵和出身学兵的军官外，一般官兵文化素质均较低。张自忠根据冯玉祥的方法，责成有关部门把操典、射击、战术、筑城教范的核心内容改编为通俗易记的《战斗动作歌》《射击军纪歌》《利用地物歌》《行军歌》《站哨歌》等等，作为初级军官和士兵的教材，代替一般的典、范、令，效果甚佳。许多人甚至在几十年之后仍对这些通俗有趣的歌典记忆犹新。
张自忠历来反对用冗长的欧化语言或晦涩的文言古语对士兵们讲话，强调要用士兵自己的语言来教育士兵，务求通俗、明了、朴实，使士兵易于接受。有一次，一位战术教官在下达攻击令时说：“有兵力与我相等之敌，本连有击攘该敌之任务。……”张自忠在一旁听了，觉得可笑，便直截了当地说：“别那么文绉绉的，就说‘有和我们差不多的敌人，我们要打跑他！’”
有一天，张自忠站在山头上亲自指挥一场高地争夺战演习。他命令官兵由山底向上围攻，要求大家竭力隐蔽接敌，不得暴露目标。他高喊：“谁让我看见就算阵亡了！”演练一次，他就将目标暴露者记下，然后反复演练，直到伤亡最少而将高地占领为止。由这个小小的事例，可知张自忠练兵是何等认真、精细、踏实。
按照儒家传统的治军思想，军队犹如一个大家庭，官长是父兄，士兵为子弟。官兵之间当“以诚悃相孚，恩义相结，有功必赏，有劳必录。遇过必救，有罪必惩。秉大公之心，行至信之法。如家人骨肉之相爱，如师长子弟之相规”。张自忠未必见过这段文字，但他显然具有同样的思想。为了达到这种理想的治军境界，他孜孜以求，不懈奋斗，耗付了巨大心血。如果我们把张自忠的治军加以概括，那就是：实行爱国爱民的精神教育；执行严格的军纪军规；身先士卒，律己谨严；宽猛相济，恩威并用；认真勤奋，脚踏实地；从实战出发训练部队；突出体能技能训练；注重理论与实践相结合。在他的精心治理下，所部军纪森严，训练有素，官兵团结，富有战斗力，成为西北军的样板部队。
从西北军的发展史来看，张自忠不愧为初级军事教育第一人。事实上，在西北军将领中很难找到第二位像张自忠这样军事教育和作战指挥均十分出色的人。他于1917年投入冯玉祥部，除任带兵的旅长和师长等职外，还曾任模范第二连连长、学兵队长、学兵营长、学兵团长和军校校长等职，为冯玉祥部培养的初级军官总数保守估计也应在5000人以上，这些人都是西北军及其旧部的战斗骨干，不少人成长为西北军或西北军旧部重要将领，如刘振三、刘汝珍、张人杰、李九思、季振同、池峰城、吴化文、展书堂、吉星文、马贯一、李汉章、王志远、安克敏、张宗衡、宋铁林、张国武、李致远、葛开祥、彭秉信、孙厚禄、李继成、魏书琴、王丕襄等等，至于团长、营长、副官长就更多了。这数千名中级军官遍及西北军各部队，他们中的大多数人后来又在抵御外侮的抗日战争中驰骋疆场，立下赫赫战功。这不光是张自忠对西北军的贡献，更是他对中华民族的一份贡献。
如何处理官兵关系历来是治军的重大问题之一。张自忠在这方面也给后人留下了有益启示。在一般情况下，官长对于部属若徒威而无亲，那么官兵关系不可能和睦、融洽，甚至会出现紧张和对立；反之，若徒亲而无威，则难于树立威望，维护军纪，贯彻号令。张自忠妙就妙在能使部下对他畏威怀德，既敬又畏。部下视他为父兄，平时乐为之用，战时乐为之死，甘苦与共，生死相依。在古今中外历史上，能达到如此境界的将领并不多见。张自忠能够臻此佳境，主要得益于恩威并用、宽严相济、身先士卒、律己谨严的治军之道；同时，也与他既沉毅刚烈又宽厚朴实的个性魅力有关。
传统的治军之道虽然强调爱国爱民的进步思想和仁义忠勇的职业道德，却缺乏一个完整系统的理论体系和鲜明的政治理想，故而它只能够牢固地维系官与兵之间的关系，却不能有效地规范军队与国家之间的关系。军队在很大程度上隶属于私人，它能否为国家民族而战，取决于其统帅是否具有爱国爱民的思想基础。而张自忠恰恰具有这样的思想，所以他的部队能够在后来的反侵略战争中为民族解放而流血牺牲，成为卫国干城；相反，孙良诚、孙殿英、张岚峰等人虽同为西北军将领，却不以国家民族为己任，只贪图个人私利，结果，他们的部队不仅没有为祖国而战，反而投降日寇，成为伪军，助纣为虐，祸国殃民。这种教训是极为惨痛的。
4．中原反蒋
“二次北伐”之后，西北军实力得到扩张，成为蒋、冯、阎、桂四大军事集团中兵力最为雄厚的一个。这种情形自然引起蒋介石的嫉视。为了削弱冯、阎、桂各系军队实力，蒋介石以减少军费负担、从事经济建设为名，提出裁兵之议。1928年8月，国民党五中全会通过了关于军事整理问题案。1929年1月1日，蒋介石主持召开编遣会议，通过了《国军编遣委员会进行程序大纲》等一系列文件，确定全国设立8个编遣区，蒋介石控制了其中4个。同时，还规定全国军队的一切权力收归中央；各军原地静候改编；各集团军无权自行调动与任免军官。这种做法引起冯、阎、桂各派强烈不满，冯玉祥决心联合阎、桂，武力倒蒋。
为了准备反蒋战争，1929年4月冯玉祥令西北军主力向潼关集结。张自忠遂率领二十五师向西北转移，夫人带着孩子从开封迁往西安。这时，冯玉祥派张克侠来二十五师任参谋长，襄助之余也起监军作用。因为蒋桂战争期间，广东将领“三陈”（陈铭枢、陈济棠、陈策）倒李（济琛），尤其是桂系将领李明瑞、俞作柏倒戈致李宗仁迅速失败一事，对冯产生刺激，由此不仅对有投晋经历的韩复榘、石友三等产生怀疑，对曾投晋避难的张自忠也有所担忧。张克侠与冯玉祥为内亲，在学兵团时曾与张自忠共事近一年，此后分开，后又留学苏联，回国后在集团军总部任高级参谋，这是二张分开两年多以后第二次共事。张自忠将参谋长吴化文改任团长，以坦然心情欢迎张克侠到任。
第二十师师长韩复榘因反对向西北退兵，遭到冯玉祥训斥。早有异心的韩复榘一怒之下，率部东开，叛冯投蒋。随后，石友三、马鸿逵也通电叛冯。此次叛冯总兵力达10万人，其中韩、石两部是冯玉祥的精锐部队，韩、石二人又是冯玉祥一手培养起来的亲信爱将，他们的背叛使西北军元气大伤，也令冯玉祥极为痛心。在此形势下，有人趁机以张自忠1926年投晋一事做文章，在冯玉祥面前进谗言，诬称张自忠与韩、石一样怀有二心。不久，张自忠被免去二十五师师长职，专任潼关警备司令。二十五师扩编为第四军，由张凌云任军长。张自忠失掉实权，情绪消沉，不久即赴西安与家人团圆，赋闲于家中。当时萧振瀛为西安市长，见张失意，常来探望，由此张、萧产生了交情。张自忠被免师长后，张克侠仍回西北军总部任高级参谋，二张又行分开。不久张克侠应张存实（振亚）之请到上海秘密加入中国共产党，成为中共特别党员。
就在冯玉祥忙于备战反蒋之时，却发生了一个出人意料的事变：5月间，阎锡山为了挟冯玉祥以自重，借以增加与蒋介石讨价还价的砝码，竟以出洋和反蒋为借口约冯玉祥入晋，将其扣为人质。西北军将领对于阎锡山软禁冯以讨好蒋介石并从中取利的做法甚为气愤，却毫无办法。冯玉祥失去自由，便委任宋哲元代行总司令职权。
8月，蒋介石主持召开第二次编遣会议，一方面强行规定冯、阎、桂各系军队缩编，另一方面却通过增加编遣区的办法进一步扩充自己的实力。这种一意孤行、损人利己的行径，使得冯、阎、桂各地方军事集团与蒋介石的矛盾进一步激化。
这时，张自忠已被宋哲元任命为第十一军副军长（军长冯治安），同年秋又兼任该军第二十二师师长。为此，他十分感激宋、冯二人在其失意之际能伸以援手。这件事成为他后来拥戴宋哲元、力荐冯治安的缘由之一。
10月10日，宋哲元等27名西北军将领在冯玉祥授意下，联名通电反蒋。蒋介石遂调遣第五路军唐生智部讨伐西北军，蒋冯战争爆发。张自忠奉命率第二十二师开赴河南参战。在攻打洛阳以东黑石关地东山的战役中，他除指挥二十二师，还指挥田春芳师、周永胜师和一个炮兵师，击溃了蒋军上官云相、肖之楚、徐源泉三个师，显示了杰出的指挥才能，赢得了宋哲元的赏识。但是，由于阎锡山不仅未响应西北军反蒋，反而就任蒋介石委任的陆海空军副总司令职，使西北军陷于孤军作战，加之孙良诚与宋哲元不和，作战指挥难于统一，最后西北军主力不得不于11月下旬退回陕西。反蒋战争失败。
同年12月27日，鹿钟麟继宋哲元就任西北军代总司令。他将原二十五师扩编的第四军重新缩编为师，赋以独立第一师番号，因赏识张自忠的为人和能力，故将第四军军长张凌云免职，调张就任师长。不久，独立第一师改番号为第六师，张仍任师长。这样，张自忠又回到了老部队，官兵们因老长官的归来而兴奋异常，欢呼雀跃。
蒋冯战争中，张凌云率第四军在临汝镇作战失利，撤退时损失过半。张自忠归部时，这支部队编制残缺，人马不整，亟须整顿。1930年2月，他奉命率第六师撤离华阴，开赴天水整训。时值隆冬，冰雪遍地。新败不久的西北军既无粮饷，又缺少御寒衣被，官兵们不得已四处搜粮。可是当时关中大旱，灾民们几乎连树皮草根都已吃尽，哪里还能找到粮食？夜里士兵们饥寒交迫，即使烧火取暖，也常有被冻死的。张自忠见此情形，难过得睡不着觉。他打电报向家里要来些款子，以解燃眉之急，同时严禁部下搜刮百姓。他自己也和士兵一样吃糠秕，咽草根，有时甚至一连几天吃不到东西。就是在这种困境中，第六师官兵未有一人开小差。
张凌云接管二十五师后，为安插亲信，将原来的3位旅长贾自温、王克明、庞振江，团长吴化文、业荆洲、安克敏、张宗衡等人都撤换下来。张自忠复职后，没有计较个人恩怨，对张凌云安插的干部一个未动。甚至有的人再三恳辞，他也始终不允，善意挽留。这种大度，团结了各方干部和有用之才，稳定了人心。
第六师在天水得到过之纲第十五军（新兵军）的补充后，兵员恢复至2万余人，又成为西北军的能战之师。张自忠将这2万余人重新整编为三个旅：原第四军第九师编为第十六旅，仍由原师长张春棣任旅长，张宗衡副之；原第四军第八师编为第十七旅，仍由原师长王修身任旅长；由十五军拨来的新兵旅编为第十八旅，仍由原旅长佟泽光任旅长，李九思副之。师参谋长仍为张克侠。团长张宗衡对张自忠说：“天水这个地方闭塞，交通不便，报章杂志不易看到，久住就要落后了。”张自忠笑言道：“咱们的参谋长张克侠曾留学苏联，咱们不会落后的。”由此可见，张自忠对张克侠的经历持赞许态度，但对其真实身份并不知悉。
从十五军拨充的新兵旅，招募于甘、青、宁三省，其中三分之一为回民。为尊重回民风俗，张自忠为回民士兵另立炉灶，由他们自行管理；回民士兵的训练也是集中起来，由回族军官负责，单独进行。他还多次告诫汉族官兵要尊重回民的信仰和习俗，与他们和睦相处。消息传到地方，张自忠受到当地回民的热烈拥戴。
鹿钟麟就任西北军代总司令后，遵照冯玉祥密令，提出了“拥护中央、开发西北”的口号，派人与蒋方联络，并动员韩复榘、石友三，准备联合倒阎。其时，阎锡山与蒋介石的矛盾已愈加明朗，加之各方反蒋代表均集中太原，对他表示拥戴，他若再不起兵反蒋，就将面临蒋冯双方的联合进攻。1930年2月26日，阎锡山亲自前往软禁冯玉祥的建安村访冯，发誓与冯合作，共同讨蒋。冯玉祥欣然应允，随后返回潼关。
1930年4月1日，阎锡山在太原通电就任“中华民国陆海空军总司令”，要求蒋介石下野。同时，冯玉祥、李宗仁分别在潼关、桂平就任中华民国陆海空军副总司令职，通电讨蒋，并任命鹿钟麟为前敌总司令，刘骥为总参谋长。随后，各地反蒋军及国民党改组派、西山会议派等纷纷起而响应，迅速形成了全国性反蒋大联合。
4月23日，冯玉祥以副总司令名义颁布命令，宣布对蒋介石集团开战。于是，一场中国近代史上规模空前的军阀混战——蒋冯阎中原大战终于爆发。双方在东起山东，西至襄阳，南迄长沙，绵延数千里的战线上展开厮杀。
反蒋联军共5个方面军，约60余万人。李宗仁指挥第一方面军，由广西出兵湖南，进趋武汉；冯玉祥之西北军为第二方面军，由郑州地区沿陇海路东取徐州，并防守许昌以北地区；阎锡山之晋军为第三方面军，由河北沿津浦路南下进攻济南，而后与冯军会攻徐州，进兵南京；投蒋不久复而反蒋的石友三部为第四方面军，由新乡东进，主攻济宁、兖州，配合晋军会攻济南；河南的樊钟秀部为第八方面军，集结于临颍地区。
蒋介石调兵70余万编成4个军团，亲任总司令，令韩复榘指挥第一军团，防守山东禹城地区，阻击晋军南下；刘峙指挥第二军团，集结于徐州、砀山、宿县等地；何成浚指挥第三军团，集结于漯河地区；陈调元指挥预备军团，集结于济宁、菏泽一带。
冯玉祥亲自统帅的第二方面军总计26万余人，是反蒋联军的主力部队，共划分为8路：以张维玺部为第一路，由陕南汉中府出安康，经叶县到许昌，进击平汉线；孙良诚部为第二路，庞炳勋部为第三路，同时沿陇海路进击郑州；宋哲元部为第四路，孙连仲部为第五路，分别由陕甘宁青向河南推进；万选才部为第六路，在陇海线归德（今商丘一带）附近集中；郑大章指挥骑兵集团，进出豫东皖北，向徐州方面蒋军后方袭扰；刘郁芬任后方总司令，负责陕甘宁青等省一切事宜。
大战前夕，张自忠率第六师由甘肃天水开赴河南灵宝待命。鹿钟麟了解张自忠性情刚烈，西北军行伍出身的老牌将领对张常怀忌视之意，恐不能配合如意，特将第六师列总部直辖，必要时以配属形式参战。张自忠体会鹿的苦心，对其更为感激，毕生视为知遇上司，函电不断。
在灵宝期间，张自忠派遣第十六旅剿灭了灵宝南山一带的土匪。不久，接到冯玉祥电令：第六师主力暂时编入张维玺之第一路军（简称南路军）。南路军所辖部队，除张维玺自兼之第十三军（第十六、十七师）外，还有张自忠、魏风楼、葛运隆、吴振声、王和民5个师。后来冯玉祥又将平汉线方面樊钟秀之第八方面军和任应岐之第十二军均列入南路军序列，总兵力达15万人。
南路军当面之敌为蒋军第三军团，总指挥何成浚驻漯河，辖王金钰第四十七师、徐源泉第四十八师、上官云相第五十四师、肖之楚第四十四师，此外还有杨虎城、刘茂恩等三个师。
5月初，南路军首先在平汉线向蒋军开战，拉开了中原大战的帷幕。5月中旬，张自忠率第六师开赴许昌十五里店、任庄一带，同徐源泉部交战。当第六师开抵十五里店时，此地已为徐军占领。因十五里店乃双方必争之战略要点，张维玺严令张自忠限期夺回。张自忠遂指挥第六师乘夜暗发起猛烈攻击，势如疾风暴雨，一夜之间克复十五里店。
6月中旬，张自忠部奉命与蒋军丁治磐部争夺土围子。战斗相当激烈，第六师两退两进，方将土围子攻占，第十六旅副旅长兼第一团团长张宗衡、手枪团团长刘振三均负伤。丁部接连发动两次反攻，均被击退，伤亡累累，最后被迫弃战。张自忠遂指挥官兵掘壕固守，与蒋军相持。不久，孙连仲率部来援，张、孙两部遂转守为攻，猛烈出击，蒋军抵挡不住，全线溃退至漯河一带。这时，张维玺及南路军诸将领多主张乘胜南追，直取信阳，将蒋军逐至武胜关以南。但冯玉祥认为蒋军主力不在豫南而在豫东，如攻取信阳，其事虽易，但战线拉得太长，兵力势必分散，一旦蒋军主力从豫东进攻，即可能陷入首尾不能相顾的境地。因此，7月中旬，冯玉祥下令将孙连仲、张自忠、葛运隆、魏凤楼等几支精锐部队由平汉线抽调转用于陇海线，支援东路军（包括宋哲元、孙良诚等部）作战，企图予蒋军主力以歼灭性打击。
由于西北军官兵勇猛剽悍，十分善战，开战以来连连取胜，使蒋军产生严重恐惧心理，士气大为低落，许多部队几乎不敢再作出击的尝试。蒋介石焦急异常。为了扭转战局，他决定在陇海线发动攻势，命其精锐主力刘峙、蒋鼎文、陈诚、张治中等部配备大量炮兵，由杞县、太康攻击开封。冯玉祥侦悉这一情况后，将计就计，布置了一个“口袋”战术：令孙良诚、庞炳勋、吉鸿昌部从正面堵击；孙连仲、张自忠部向高贤集蒋军左翼兜击；右翼则由陇海路正面之晋军加以侧击；孙殿英部在鹿邑、柘城方面扰乱蒋军后方，形成口袋形包围圈。正在冯军刚刚布置妥当之际，蒋介石也得到了冯玉祥的计划，急忙变更部署，抽调上官云相部由平汉线前来应援，并令平汉线方面积极反攻，借分冯军兵力。蒋介石还亲自奔赴柳河车站督战，以鼓舞士气。但西北军此时已把蒋军截为数段，双方发生白刃战。
这时，张自忠率第六师按计划向蒋军左侧攻击，在杞县、太康之间的高贤集首先与蒋军精锐张治中之教导第二师相遇。这两位姓氏相同名字相近，且被许多人误为一人的名将，在此地展开了激烈对攻战。教导第二师是蒋介石聘请的德军顾问团精心训练出来的两个“近卫师”之一，编制齐整，拥有当时中国军队最精良的全套德式装备。但第六师官兵毫无畏惧，他们在张自忠指挥下，发动了突然猛烈攻击，奋勇接敌，与蒋军展开近战，发挥了刺刀、大刀的威力，而使敌之炮火无法发挥作用。张自忠以十七旅富有战斗经验的一个团，利用夜间双方战斗紧张之际，对敌右翼进行了迂回袭击，轻装疾趋敌师司令部，像一把利刃插入敌人心脏。敌后备队发觉应战已措手不及，纷纷逃窜。敌前线部队，联络中断失去指挥，又遭前后夹击，全部溃退。蒋军其他各部也因不善白刃战，伤亡惨重，一部经太康向周口仓皇溃退，一部经睢县向商丘溃退，张治中部奉命担任掩护。张自忠指挥第六师乘机追杀，再歼其一部，并相继攻占白楼和李家台子。教导第二师经此一役，元气大伤。过后，张治中晋见蒋介石，蒋非常生气，怒斥于张：“不让你到前线来，你非要来，你来时带了多少人，现在还有多少人？”张治中无言以答。
在对待战俘的问题上，张自忠作为旧军队将领，却表现出了不同一般的理念。佟泽光回忆说：“天已破晓，师长来到，看见有数十名俘虏蹲在墙下，还有一些敌人伤兵伏在地下呻吟。有一个士兵说，打仗不是要消灭敌人吗，这些俘虏还不杀掉留他们干啥？师长回头大声斥责说，你在哪里学过杀俘虏呀。那个士兵一看是师长，忙说我吓唬他们呢。师长当时对那些伤兵、俘虏说，你们只管放心，我们向来是不杀俘虏的。在两军阵前，各为执行上级命令，不能不拼命厮杀，现在你们已经放下武器，没有战斗力了，我们就不再把你们看成敌人了，但是在战争没有结束之前，还不能把你们放走。并叫随军医务人员，给敌人伤兵包扎伤口，送后方医院。对于不能行走的重伤号，则用担架抬送。还叮嘱护送人员，要关心他们的饮食，不要叫他们饿肚子。师长的人道主义作风，不仅使敌人的伤兵、俘虏感动得热泪盈眶，我们这些跟随师长的人，也都受了一次人道主义教育。”当第六师进至柘城、太康两县边界的王集、柳河集、冯庄砦一带时，又同平汉线来援的蒋军王金钰、徐源泉部遭遇，双方往来攻守，形成对峙。据被俘的王部排长供称：王金钰师系几个师缩编而成，不仅兵力、装备充足，而且以团长当营长，营长当连长，连长当排长，故战斗力颇强。
作战中，张自忠勇猛果断，指挥若定，显示了丰富的作战经验和出色的指挥才能。张克侠对此评价说：“其决心坚强，临危振奋。每当情况急迫之时，辄镇静自持，神色夷然。”显然，张自忠不但善于教导练兵，且同样善于作战指挥，其对部队的严格训练和良好指挥是第六师屡战屡胜的重要因素。
桂军方面，李宗仁于5月下旬指挥所部由广西分三路入湘。7月初，遭到蒋军蒋光鼐部、何键部反击，撤回广西。这使得蒋介石能够腾出手来集中力量对付冯、阎。
津浦线方面，晋军作战不力，节节败退。至8月15日，曲阜、泰安、济南相继失守。济南之失对战局影响尤大。阎锡山见战局不利，即开始图谋自保，不再积极协同冯军作战，甚至断绝了对冯军的粮饷弹药供应。西北军陷于孤军苦战。
9月18日，一个关系战争胜负的重大事件发生了：雄踞关外静观虎斗的奉军统帅张学良，宣布放弃中立立场，通电拥蒋，随即挥师入关，占领华北。战局急转直下。
面对南北受敌、弹尽粮绝的危局，性格坚忍的冯玉祥仍企图背水一战，力挽狂澜，无奈诸将领已纷纷动摇，使他只能对空悲切，面壁浩叹。9月下旬至10月上旬，吉鸿昌、梁冠英、焦文典、葛运隆等相继投蒋，接受改编；石友三通电独立；庞炳勋、孙殿英、刘春芳等脱离冯部，自由行动；包括张维玺、冯治安、魏凤楼、任应岐、田金凯等部在内的南路军，在新郑陷于重围，被迫缴械投降；孙连仲也自谋出路，通过韩复榘的关系接受了蒋介石改编。冯玉祥眼看众叛亲离，山穷水尽，被迫于10月5日率总部渡黄河北上。
至此，规模空前的中原大战以反蒋联军失败告终。这一结局对此后中国历史的发展进程至少产生了三方面的重大影响：其一，蒋介石通过这场混战极大地削弱了各地方军事集团，从而加强了南京政府的中央集权和蒋的个人独裁。其二，蒋介石集团在中原大战中的胜利，使其得以将主力由北方转用南方，专门对付中国共产党。这是四年后工农红军被迫长征，实行战略大转移的客观背景。其三，东北军主力的入关，使关外后方兵力空虚，给了日本侵略者以可乘之机，不久即爆发了震惊中外的九一八事变。
5．忠诚
中原大战结束时，张自忠的第六师除配属梁冠英的王修身第十七旅随梁投蒋外，尚有6000余人，是西北军残部中编制最完整的部队之一。
据记载，9月下旬张自忠第六师位于褚皮岗一带，其左翼为庞炳勋部第五师。庞颇想投降，但不为蒋受，复于此时偷袭张自忠师部，企图吞并张的部队。所幸，庞的企图未能得逞。
10月1日，张自忠第六师抵达开封，其第十八旅奉命前往朱仙镇保护冯军总部撤退，余部乘火车前往郑州。
中原大战中西北军开始为路师编制，每路辖3师；后期为路军师编制，梁冠英、吉鸿昌、田金凯、冯治安等重新成为军长，张自忠战功卓著，却未得军长之任。后期冯玉祥为防止部队投蒋，采取打乱建制的方法，每师均有一旅归他师指挥，在此背景下，张自忠部王修身旅拨归梁冠英指挥，但并无其他旅调归张指挥，这似乎表露了冯对张的些许疑虑。蒋介石见张自忠能训能战，格外垂爱，特委以第二十三路总指挥。张将军得到中央委任时，吉鸿昌已生变，张却决定继续追随于冯，前去郑州谒见冯先生，但冯因受吉鸿昌等投蒋刺激，不仅不见他，反而令张克侠率部先渡黄河，以防张自忠生变。此举对张形同侮辱，这是二张首次产生裂痕，好在张自忠为人宽厚，并未计较，而是令佟泽光、张春棣两旅随张克侠先行，自己与李九思留下等待王修身旅。后又令李前往郑州联系，自己则率特务团在黄河边收容失散部队并为眷属找船渡河，直到10月5日晚李九思带来王修身旅随梁冠英投蒋的消息，张自忠才率特务团随鹿钟麟退至新乡。时冯玉祥已到修武，佟泽光旅长向其报告，冯问前线情况，佟云听说很多将领都背叛了，不知真假。冯说：“这些人有真的，也有假的，吉鸿昌是个炸弹，早晚他要爆炸的，张自忠不会投敌，他绝不会投敌。”这一事实既与李九思、佟泽光的回忆相印证，也与张克侠的回忆相符。
西北军的土崩瓦解，的确使张自忠同其他将领一样面临着何去何从的选择问题。当蒋介石派人给张自忠空投委任状，任命他为第二十三路军总指挥之时，张曾就地召开干部会议，决定去从。有人反对投蒋，也有人认为这是千载难逢的良机，劝他接受任命。张自忠郑重地对大家说：“做军人最要紧的就是忠诚，西北军败了，很多人都背叛了冯先生，但我们不能这样做，这是气节问题。再说，蒋介石虽然封官，但我们是败军，难保不受人宰割。不怕跟着我受罪的，就重回西北找冯先生。”
见无人提出异议，张自忠决定从晋南回陕，即率第六师两旅一团西行入晋，翻越王屋山到晋南曲沃，全师衣履破烂，但军纪不乱。
此时，宋哲元已放弃潼关，刘郁芬放弃西安，西北军后方丧失，遂不得不在晋南善后。冯玉祥亲自主导善后，令部队向晋南集结，但孙连仲不愿再追随。10月29日，已过黄河的孙连仲接受第二十六路军番号，率部投向中央，已入晋南的孙部高树勋师也出晋随孙而去，惟张自忠仍率部追随冯玉祥，而不就中央第二十三路总指挥之职。事实上，张自忠想投中央与其部队在黄河南北及豫北晋南并无多大关系，只发一个就职通电即可解决问题，孙连仲和高树勋即为先例。
当时，北上的西北军残部大多已渡过黄河，但后边的行李、家眷及很多大车未能过河。由于找不到船只，又无部队护送，家眷们既害怕又焦急，一筹莫展。张自忠急人所急，忙派工兵营长朱春芳带领全营寻找船只，终于找到十几只木船，把他们护送到黄河北岸焦作。家眷们感激得涕泗横流，不知说什么是好。
“床头孤剑空有声，坐看中原落人手。”抬眼望去，夕阳西下，浊浪东流，萧瑟秋风吹打着张自忠布满征尘的军衣。官兵、家眷都陆续过了河，张自忠却独自立在黄河岸边，默然无语，久久沉思。5个多月的鏖战犹如一场噩梦，盛极一时的反蒋联军尤其是西北军，败得如此之惨，是他始料不及的。
后来，张克侠在谈及此事时对张自忠眷念故主、拒不投蒋的风骨倍加赞赏。他说：“中央曾以廿三路总指挥相招，当时又多相劝导者，公从容对余谈及深夜，以往事为诫。彼时虽情况急迫，但终抱不贰，过爱节操精神，敛兵北渡，候整个解决，不以个人利害不顾大义，真所谓富贵不能淫威武不能屈者矣。”
西北军是民国军事史上一支重要的军事力量。可以说它成之于冯玉祥，也败之于冯玉祥。由于冯的筚路蓝缕、苦心经营，它由最初的一个营逐步扩充，而团，而旅，而师，而军，以至集团军。迄“二次北伐”完成后，连同依附于冯的非嫡系部队，总兵力已达40余万，睥睨一时，令世人侧目。由于冯玉祥的决策失误，它投入了无义的军阀混战，结果招致灭顶之灾，40万大军遂成为一场大火后的星星余烬。1930年11月4日，冯玉祥通电下野，从此失去了在中国政治、军事舞台上扮演主要角色的资格，所部将领也纷纷离他而去。“五虎上将”中的李鸣钟、张之江早在中原大战前就已脱离冯系，接受了蒋介石的任命；刘郁芬于大战后叛冯投蒋，赴南京就任上将总参议，进而于抗战时期叛国投日，沦为汉奸；鹿钟麟与冯共进退，声明下野，寓居天津；惟有宋哲元率领残部退入山西，算是留在军中。
对于西北军在中原大战中的失败，张自忠在和部属谈话中总结了两大原因：“简要说来，一是张学良、杨虎城被蒋利诱收买，给我军在战略上很大困难。另外是我们本团体的问题，虽然张、杨被蒋收买，但是我们还有几十万大军，如果同心协力，是可以重回西北。可是我们一些高级将领，有了享受思想，惧怕艰苦，以致不听指挥，不顾团结，各自为政，致使数十万大军五零七散，分崩瓦解，实堪痛心，应当引为鉴戒。”
张自忠自1917年加入第十六混成旅，至1930年西北军失败，追随冯玉祥凡13年。这期间，他征战南北，刻苦奋斗，由一名差遣依次递升，成为冯玉祥麾下一员高级将领。他的从军较之其他同辈要晚五六年，却能后来居上，令人称奇。这是他努力奋斗的结果，同时也与冯玉祥的慧眼识人、亲手栽培有关。正因如此，张自忠的命运才紧紧地同冯玉祥联系在一起。十余年间，他与冯玉祥同呼吸，共命运，一荣俱荣，一损俱损。西北军最初脱胎于北洋军阀部队，尔后逐渐从军阀行列中游离出来，表现了革命倾向，后来又直接参加了国民大革命。反段护法、讨伐张勋、首都革命、五原誓师、参加“北伐”，都是西北军史册上的精彩华章。然而，随着冯玉祥的立场转变，西北军又陷于清党反共的政治误区和争权夺利的无义混战。这一系列行动，张自忠基本上都参与其间，个中是非功过，也都应有他的一份，这是由他的地位和所处的环境决定的。
中国近代历史上曾出现过形形色色、五花八门的军队。西北军无疑属于比较好的那一类。在冯玉祥的治理和领导下，西北军军纪严明，注重教育，体恤民艰，热爱国家。张自忠置身其间十几年，历风沐雨，深受陶冶。他的治军，他的作战，他的作风，无一不打着冯玉祥的烙印，无一不带有明显的西北军风格。在西北军的十几年，为张自忠的后半生奠定了基础，他后来的抗日爱国壮举无疑是对西北军优良传统的发扬光大。
西北军的失败葬送了一大批将领的军事与政治前程。但张自忠是幸运的，他仍掌握着数千人的劲旅，这成为他谋求新的政治生命进而报效国家的基础。从此，一种不同于西北军时代的新生活开始了。
- 王赞亭：《跟随冯玉祥二十余年》，第38～39页；《张上将自忠年谱简编》，第18页。
- 《抗日名将张自忠》，第70页。
- 参见张骏回忆手稿。
- 镇嵩军是军阀刘镇华统率的一支土著武装，官兵多为豫西人，因驻地靠近嵩山而得名。
- 谭世麟：《张将军的生前与死后》，台北《传记文学》第31卷第3期，第30页。
- 《北碚文史》第2辑，第3页。
- 《冯玉祥自传》，第23页。
- 董升堂：《张自忠将军生平概述》，《抗日名将张自忠》，第6页。
- 张克侠：《纪念荩公先总司令》，《张上将自忠纪念集》卷十四，张上将自忠纪念委员会1948年出版，第198页。
- 1 张知行：《张自忠将军练兵节录》，《北碚文史》第2辑，第22页。
- 2 鹿钟鳞：《追忆张自忠将军》，《抗日名将张自忠》，第150页。
- 李致远：《先总司令荩公轶事》，《张上将自忠纪念集》卷十四，第188页。
- 朱明：《记忆中的张自忠将军》，《张上将自忠纪念集》卷十四，第120～121页。
- 《冯玉祥自传》，第29页。
- 张宗衡：《回忆张自忠将军》，《文史资料选辑》第94辑，第19页。
- 张公干：《怀念校长张自忠将军》，《尽忠报国——张自忠将军史料专辑》，第24页。
- 陆纯编：《袁大总统书牍汇编》第二卷，第4页。
- 《王赞亭的回忆》，《抗日名将张自忠》，第44～45页。
- 张维玺，字楚玉，1889年生，山东馆陶（今属河北）人。
- 佟泽光手稿：《追忆与张自忠相处的日子》。
- 张克侠：《纪念荩公先总司令》，《张上将自忠纪念集》卷十四，第198页。
- 张克侠：《纪念荩公先总司令》，《张上将自忠纪念集》卷十四，第198页。
- 佟泽光回忆手稿：《追忆与张自忠相处的日子》。
