在这样日寇侵略军和国民党军队的两面夹攻下，加之外无实力增援，内有败政困难，抗日同盟军很快陷入困境。
在这种情况下，冯玉祥为了给这支抗日队伍保存一点元气，所以被迫卸职，邀宋哲元回察哈尔，将民众抗日同盟军交给宋哲元改编。自己则于8月中旬赴泰山隐居。
宋哲元于8月底返回察哈尔后，即按照与冯玉祥达成的协议，对民众抗日同盟军进行改编。张自忠随之赴察协助工作。
同盟军中，除吉鸿昌、方振武、刘桂堂三部拒绝改编，余众加上汤玉麟残部共计三万多人，宋哲元采取分别对待，保留骨干的政策，对原属西北军的佟麟阁、张允荣、阮玄武等部，尽量多编多留，对其他部队则大部遣散。
到1935年初，改编基本完成。原西北军部队保留了12个团，汤玉麟残部保留了一个团，这样既使西北军旧部有了归属，又增强了二十九军的力量。全军总兵力增至四万多人。另外，汤玉麟残部的30几门大炮，也为二十九军所得，各师首次建立了炮兵营。至此，二十九军的实力，在华北各部队居最强。
由于长城抗战战功显赫，南京政府核准二十九军增编一个师，由功勋卓著的赵登禹任师长，番号为第一三二师。
刘汝明的暂编第二师改番号为一四三师，刘仍任师长。
在这次整编中，三十八师增编第一一四旅，董升堂升任旅长，全师增至三旅九团另一个特务团，兵力达1．3万人。
二十九军由晋东移驻察哈尔省，三十七师驻张家口；三十八师驻宣化，兼顾独石口、沽源一带；第一三二师驻张北；第一四三师驻怀来、涿鹿、蔚县。
察哈尔民众抗日同盟军失败，宋哲元与蒋介石的关系变得密切起来。为笼络二十九军将领，蒋介石同意二十九军派员到庐山军官训练团受训。
1943年7月，包括冯治安、刘汝明在内的二十九军营以上军官四五十人，由张自忠率领，前往庐山受训。
二十八
张自忠自从第二次投军以后，到1934年，只回乡去过两次，第一次是1928年12月，那是因为张自忠的母亲于是年2月去世，张自忠请假回乡为母亲“成主”。那次回家，他觉得侄女廉瑜聪明、直爽，便把她带在身边。
第二次是1933年长城抗战结束，局势比较平静。年底张自忠决定回乡一趟，一为参加侄儿廉瀛的婚礼，二为祭扫父母陵墓。
这次张自忠返乡，可说是衣锦荣归，他是三十八师师长，又是全国闻名的长城抗战的英雄。带着全家七八口人，乘坐两辆轿车，并有一个警卫排，分乘两辆大卡车随行。一路之上，受到沿途官府、驻军的热烈招待。
车过山东武城，这里是滦州起义领导人王金铭烈士的故乡，张自忠特地下车，看望了王金铭的家人。他一直很敬仰这位和冯玉祥一起战斗过的革命前辈。早在1928年，张自忠就奉冯玉祥之命，将当年出卖王金铭的叛徒张建功父子活埋，为烈士报了仇。
从武城上车，向西南行50公里，就回到了家乡临清，从三里阁跨过运河到达唐园。此时已近傍晚，张自忠离村老远，便下了车，步行进村。
小廉瑜却兴奋得很，大声嚷嚷：“按喇叭，按喇叭！”
张自忠对于侄儿的结婚，认为应该新事新办，不要送帖，更不要送礼，所以廉瀛这次结婚，二十九军知道的人很少。
自明想请自忠为儿子主持婚礼，自忠却坚决要请大哥为侄儿主婚。自修与自忠、自明是同父异母兄弟，在家族中没有什么威信，可越是这样，自忠觉得应该更加尊重他。
在家乡的几天，张自忠先后登门看望了已经分居的自修、自清和自严几位兄长，并送给他们一些衣料和带回的土特产。
对于乡亲们，张自忠不管男女老幼，都十分亲切和蔼。乡亲们都从未坐过轿车，张自忠让司机把两部车都开了出来，让乡亲们轮流坐上，在村里溜达一圈，尝尝“新”。
临清县长徐子尚得知张自忠回乡探亲，特来拜望。张自忠留他吃饭，并让他上坐。徐谦辞不坐。张自忠说：“我回家是私事，是老百姓，是你县太爷的属民，你不用客气。”
徐以后对人说：“我还没有见过这么没架子的将军。”
张自忠这次回家，也参与了不少社会活动，作了不少与救济有关的事。为救济穷苦百姓，他给县粥场捐了1000元；给唐园及邻村前、后幞头的穷乡亲们留下2000元，供年景不好时接济之用。他听说县里的武训高等小学经费不足，维持困难，便捐了500元；又给临清私立回民育才小学捐赠几百元。
此外，他还检阅了县民团，鼓励他们练好本领，保卫乡土。民团指挥赵仁泉曾是他任学兵团长时的学兵，张自忠鼓励他，要用在学兵团学到的东西，劈刀、剌枪等都要练。要把民团训练成一支能够战斗的精兵，好保卫家乡父老的安全。他在离乡返回防地时，唐园及邻村的乡亲们都自发地聚集在村口，边敲锣打鼓燃放鞭炮，为他送行。他们的车已开出老远，他回头从车后窗望去，看见乡亲们还站在村口，向他们这远去的车队挥手。乡亲们的爱戴使他久久激动不已。
喜峰口、罗文峪大捷后，他率部撤到通县。他突然得到一个消息，他的一个表侄名叫吴应瑗，在北平中国大学读书，参加了中共地下组织，参与学校的进步学生运动，被特务抓了起来，准备押送到南京处理。
