1935年上半年，对红军的“追剿”“围剿”还在进行之中，日军又在华北制造事端，策动华北各省脱离南京中央政府——华北告急。备战，成为越来越紧迫的事务。陈诚早就识破日本的侵略野心，主张积极备战，因而在“剿共”战事平缓后，他就向蒋介石献上了一个整理陆军的建议，蒋给予肯定，委托他筹设陆军整理处。
1月，南京政府召开了全国军事整理会议，部署整军。3月，在武昌行营设立陆军整理处，综理陆军整理事宜。蒋介石任命陈诚为整理处处长。陈也拿出了整理方案。计划三至四年里调整60个师，整理师分三团制师、四团制师和五团制师三种。此外，师直属炮兵一营（或一连），骑兵一连（或一排），工兵、通信、特务各一连及师医院等。步兵连为九班混合制，班增编轻机枪；团属迫击炮连分属各营为排，增强战术单位火力；原各营所属小炮排集中成连，直属团部，作为防空及防战车火力。
整理军事，主要目的是为了加强军队作战能力，准备抗击日军侵华。作为强硬主战派，陈诚准备专心做成这件有关国防的大事。可是，蒋介石没容他静下心。1935年和1936年，他几乎成了蒋介石的一名应急和救火队员。
中央军进入四川后，蒋介石派陈诚主持峨嵋山训练团，1935年10月又让他着手整顿川军。工作还没展开，他又奉命组织宜昌行营，负责指挥对红二方面军的“围剿”。红二方面军被迫开始长征。
1936年2月，红军东征，渡过黄河，取道山西，北上抗日。3月，蒋介石应阎锡山的请求，派陈诚到山西襄助军务。3月18日，阎锡山委任陈诚为第一路总指挥，指挥进入山西的几支中央军阻击红军。当时与陈诚合作的原晋军将领卢丰年回忆说，这年春天，他在太原见到了陈诚，觉得与在庐山训练团时相比，陈诚骄傲之气收敛了一些，也没有中央军援晋主帅的架子，反而表现出谦逊的风度。他们合作比较顺利。
5月初，东征红军被迫全部撤回陕北。陈诚在山西的“剿共”也该结束了，可阎锡山害怕红军再次进入山西，致电蒋介石，要求陈诚继续留在山西，帮助他抗红。蒋回电说：“中正不可一日无辞修。”
果然，麻烦事很快就来了。6月初，陈济棠、李宗仁等两广将领数十人通电“抗日”，两广部队组成“中华民国国民革命抗日救国军”，向湘南进发，拟由湖南进攻武汉。是为两广事变。陈诚奉命南下扑火。
6月8日，陈诚飞赴武汉，以武汉行营参谋长身份调中央军南下。随后赴长沙，督率各部控制了衡阳。两广部队北上受阻，双方在衡阳一带对峙。与此同时，南京方面加紧对粤方的分化。7月9日，在陈诚的拉拢下，他原来在粤军一师的“战友”——现任粤军第一军军长余汉谋通电拥护中央。陈济棠众叛亲离，通电下野，避居香港。不久，在大军压境之下，李宗仁的桂军也罢兵言和。9月初，陈诚留在南方，以广州行营参谋长身份处理两广事变善后事宜。
