元末各地农民起义此起彼伏，明朝的缔造者朱元璋乘机崛起，以勤王的名义攻打各路义军，最终重新稳定了局面。最后，一纸书信让元朝最后一位皇帝退位。这位皇帝很识时务地退到漠北去了，史称元顺帝。他的退去不仅成就了朱元璋的统治，也为蒙古保存了实力，使得蒙古并没有像党项人那样落得个国亡族灭的悲惨下场。就这样，在元朝灭亡后蒙古残部退到塞外，但后来明军穷追不舍，一直杀到贝加尔湖，著名的开国大将常遇春就战死在冰天雪地的西伯利亚，成了继苏武之后又一个葬身北国的传奇人物。同时，面对明军的强大攻势，蒙古遗部意见一时难以统一，出现了内讧，最终分裂为鞑靼、瓦剌和兀良哈三部。至此，明军才觉得蒙古部落再也没有东山再起的可能了，就此罢兵。
朱元璋统一全国建立大明朝后，采纳刘基的建议，立军卫法，在全国建立卫所，控扼要害。中央设大都督府，统领和牵制各个卫所。洪武十三年（1380年）改为五军（即中、左、右、前、后军）都督府，为最高军事机关，掌管全国卫所军籍。但征讨、镇戍、训练等与实际用兵有关的事情，则听命于兵部。遇有战事，兵部奉皇帝旨意调军，任命领兵官，发给印信，率领从卫所调发的军队出征。战争结束，领兵官缴印于朝，官军各回卫所。这种统军权与调军权分离和将不专军、军不私将的制度，旨在保证皇帝对全国军队的控制。在地方，设都指挥使司（简称都司），置指挥使，为地方统兵长官。都司之下，在重要地区的府（含直辖州）、县（州）置卫或设所。一般卫由卫指挥使率领，辖5个千户所，共5600人；千户所由千户率领，辖10个百户所，共1120人；百户所由百户带领，辖两个总旗，共112人；总旗辖5个小旗，共50人；小旗10人。洪武二十六年（1393年），进行了重新调整，确定了全国的都司、卫所，共设都司17个、行都司3个、留守司1个、内外卫329个、守御千户所65个。兵额最多时达270余万人。张居正的上祖张少保就是一个千户长，也算个中级军官吧。
在这样的军制牵制下，任何一个都督府及其中的任何一个都督，连率领本部军兵的权力也是没有的。因为明王朝还规定：兵部有出兵之令而无统兵之权，五军都督府有统军之权而无出兵之令。有军事行动时，兵部奏请委派某一都督府某一都督率兵出战，而分调其他各都司、卫、所的兵丁归其指挥。军事行动结束，将帅即归回原都督府，兵丁归回原工所建制。这种体制虽然在王朝初期起到了防范军权旁落，巩固政权稳定的作用，但同时使得军队效率低下，反应迟钝，不能迅速调动。这就大大地削弱了明朝对蒙古遗部和东南倭寇的军事威慑力，使得对方有机可乘，更加肆无忌惮。
明朝末期，也就是张居正时代，国家面临的内忧外患比较严重，南有倭寇的不断侵袭，北有蒙古遗部的不断骚扰。振兴朝政最迫切的当属加强军备，抵抗外辱。在高拱做了内阁首辅之后，把处理军务和边防的大权给了张居正。张居正利用自己的权力，很快做出了相应的改革，提拔在抗击倭寇中成长起来的一代名将戚继光，让他主持北方边防，取得积极效果。为了提高办事效率，让武将不再过多受到文臣的牵制，张居正对大明王朝的军事制度也做了适时的改革。
在军事方面，明朝一改元朝的军事制度，创立了独具特色的卫所制：皇帝独揽军事大权，在全国各个军事要地设立卫所，军丁世代相继，给养仰赖屯田。这种制度在维护明朝君主专制主义中央集权的统治中发挥了巨大的作用。但到后来，随着朝政的衰颓，法令不行，权臣当政，皇帝很难直接统领军队。这使得明朝的军队受文臣牵制较大，反应迟钝，效率低下。
作为一个军籍出生的士子，张居正对其中的弊端早就有深刻的体会。他决定从实际需求出发在体制上不作变动，但在事实上改变这种状况。首先，从伸张将权启动他的军事改革。这样做，既满足了应急需求，也避免了因为改革祖制而遭到的阻力。
由于各种原因，蒙古各部却长期与明朝为敌，不断骚扰边境。新兴的明王朝依仗强盛的国力，以攻为守，多次击败来犯者，巩固了边防。然而，时过八十余年，从宣德以后，朝政败坏，边防废弛，逐渐强大的瓦剌威胁到明朝边境的安全，正统十四年（1449年），英宗御驾亲征，在土木堡被虏，京师告急，举国震惊，幸得兵部左侍郎于谦成功地组织了反击，才转危为安，但却充分暴露了明朝政治的腐败和军事的脆弱。
