从此以后，明朝的边患日益严重。嘉靖初年，鞑靼部首领俺答汗占领河套，坐镇一方，聚集力量，发兵南侵，人称“套贼”。从嘉靖二十一年（1542年）到二十二年（1543年），连连侵犯大同、太原、平阳等38个州县，杀戮百姓多达20余万人，掳掠牛、马、羊、猪200万头，明朝军队反击不力，从此年年为患。首辅夏言任用曾铣总督陕西军务，奋起反抗，并取得初步的胜利。河套自被俺答占领后成为南侵的重要据点，曾铣主张收复河套，并得到夏言的积极支持，但由于内阁意见不一，迟迟不能行动，结果在这期间俺答骚扰不断，一度到达居庸关，京师告危。严嵩以此为由，诬陷夏言、曾铣轻举妄动收复河套，招致俺答的报复，并将他们处死，造成千古奇冤。嘉靖二十九年（1550年），俺答又到顺义、通州掠夺，再逼京师，总兵仇鸾竟斩杀老百姓的首级以冒功请赏。如此黑白颠倒，忠奸不分，更助长了俺答的气焰，防务的虚弱已成为明王朝的心腹之患。张居正为此痛心疾首地指出：“声容盛而武备衰，议论多而成功少，宋之所以不竞也。不图今日复见此事。”强调文臣牵制武将的明朝制度与宋朝如出一辙，带来的结果也使得大明王朝可能会重蹈南宋的亡国之祸。此时，高瞻远瞩的张居正已经看到，出自内阁的对立和矛盾，已成为政治败坏、边防衰弱的主要原因。为此，他坚决远离内阁中的权力之争，专心于处理边防事务。
然而，严重的边患，已不容他坐观国势的衰颓。土木堡事件以来，军事积弊愈加深重，要想“一起而振之”，必须从源头上加以改变。明代从成祖以来实行以文官统率武官的政策，主管军事的统帅都是进士出身，边防将领对部下没有独立的指挥权和调配权。指挥和实战的脱节，严重地压抑了将领的积极性。隆庆初年，谭纶出任蓟辽总督，他本是台州知府，长期在东南沿海任职，有丰富的反击倭寇的经验。像他这样通晓战争的文官，在明代官僚体制中，是非常少见的。如今，他以文官的身份为武将请命，要求练兵和作战摆脱地方官的牵制，减少地方官干涉军务的权力，这是对一百五十多年来以文制武传统的挑战。地方巡抚刘应节、巡关御史孙代等都激烈反对，但都不是张居正的对手。在首辅徐阶的支持下，张居正为谭纶争得独立的指挥权，开创了有明一代提高地方将领权力和社会地位的先例。
为了加强边防的实力，张居正又调用谭纶的老搭档抗倭名将戚继光总理蓟州、昌平、保定三镇的练兵事务，各路总兵统由其统辖，这在军队是一个创举。戚继光被任命为总理，这就在三镇总兵以外，又增设一职，与原有体制不合，加上戚继光是南方军人，以水战见长，一般舆论认为水军不习陆战，纷纷加以抵制，这一职务被总兵们认为是“缀疣”。但种种议论都不能动摇张居正调用戚继光的决心。在他看来，这是“弊在人心不一，论议烦多，将令不行，士气难作”，断然以特旨的名义任命戚继光为蓟州镇总理练兵事务兼镇守，这既保留了戚继光总理练兵事务的头衔和节制三镇总兵的大权，又让他拥有了直接管辖蓟州军务的权力。张居正还把工作做到细处。为了平息舆论，他请出素有威望的凌云翼说服众将领。正是因为张居正的决心和斡旋，才使得戚继光在北方再展雄风。张居正力排众议，打破常规地任用谭纶与戚继光，从此改变了明王朝以文制武的传统军制。
为了激励将领兵士的积极性，张居正大刀阔斧地改变赏不当功，罪不当罚的积弊，重奖有军功的将士。宣府总兵马芳在隆庆元年（1567年），转战宣大、威宁、黑山，战功卓著，获得荫子千户及银币的赏赐；陕西延绥总兵赵苛曾经防御失利，后戴罪立功，在塞外大战中杀敌三百余人，夺马一百多匹，官升至大同总兵，荫子正千户。这超常的奖励，遭到文官的抵制，连兵部都不敢做主。张居正愤怒地指出，不给予重赏，谁肯冒死犯难？他执意破格奖赏。
重赏重罚是张居正军事思想的重要组成部分，他主张有功于国家的，即使千金重赏、通侯之印，概不吝予；无功于国家的，一个笑脸、一条破裤子也不轻予。一代名将李成梁是行伍出身，按明制不能担任镇守一方的大将，是张居正论功行赏，破格提拔，使他成为镇守辽东的主将。在这种思想的主导下，隆庆年间，奖励有功将士的记载史不绝书，大大激励了有为之士，效命疆场，创建军功。
通过一系列务实的任命，张居正在形式上依然尊崇大明王朝旧制，但本质上已经改变了过去错综复杂的兵权牵制的制度。他把练兵、用兵的大权通过设立新官职的方式，重新统一到一个将领手中，加强了机动性，有效地抵御了蒙古余部的侵扰。
