这条严酷的真理，孙中山和他的战友们在20世纪20年代开始深切领悟。“艰难顿挫”的遭际引起他们的思考。俄国十月社会主义革命的胜利昭示了新的经验。朱执信还在1920年就翻译了列宁颁布的苏俄《赤劳动军法规》，对“兵的改造”问题进行了探索，确信理想的武装力量应是“有主义的兵”，因此要向兵士“输入主义”以“逼到他自己觉悟”。《朱执信集》下集，中华书局1978年版，第837页。在国际无产阶级和中国共产党的帮助下，孙中山终于认识到“没有革命军的奋斗……我们的革命，便没有完全成功”。而“中国在这13年之中，没有一种军队是革命军”。只有“成了革命军，我们的革命事业便可以成功”。《孙中山选集》下卷，第917页。在他看来，当前的国民革命必须具有自己的武装力量——“第一步使武力与国民相结合，第二步使武力为国民之武力。”《孙中山选集》下卷，第953页。
随着旧民主主义革命阶段为新民主主义革命阶段所取代，中国人民的反帝反封建斗争进入新的历史时期。北伐战争势在必行，前阶段革命运动的未竟之业将由中国共产党领导的人民大众承担和完成。正是在这种意义上，无论对与时俱进的孙中山及其领导的中国国民党来说，或是对新民主主义革命的领导核心——中国共产党而言，建立革命武装以推进国民革命，都是迫在眉睫的任务。这个课题具有十分重要的意义，必须摆在议事日程的首要地位。因此，建立革命武装就成为第一次国共合作的重要内容。
黄埔建军，是国共两党通力合作的丰硕成果。
孙中山和革命民主派长期进行的武装斗争历程——特别是后来陈炯明的叛变——表明，在半殖民地半封建的中国，软弱的资产阶级不能也不可能建立真正的革命武装。因此，只有在国际无产阶级和中国共产党的帮助下，孙中山才有可能改弦易辙，着手建立真正的革命武装。黄埔建军的过程几乎同步于国共合作的形成和发展，这是完全可以理解的举措。
黄埔建军的酝酿，可以上溯到1921年末。其时，共产国际代表马林到桂林会见了准备北伐的孙中山。在涉及广泛内容的会谈中，马林提出了“要有革命的武装核心，要办军官学校”的建议《辛亥革命回忆录》第1集，第576页。。毫无疑问，马林的意见给孙中山留下了深刻的印象。他在不久后会见苏俄政府代表达林时，更为详细地询问了红军的规模、组织和政治教育等问题达林：《中国回忆录》，第102~103页。。1923年初，孙中山在上海同苏联代表越飞会谈，建立革命武装则是主要议题之一。这年8月，孙中山派遣“孙逸仙博士代表团”赴苏考察了军事及政治。
随着国共合作和改组国民党工作的开展，筹建革命武装的课题被提上议事日程。在1924年召开的标志国共合作正式形成的中国国民党第一次全国代表大会上，孙中山下令筹办军校，指定了筹备委员，选择了广州东郊长洲岛为校址。会后，筹备工作积极进行。仅仅用了3个多月的时间，一所新型的陆军军官学校(黄埔军校)建立起来。1924年5月，黄埔军校开学。孙中山任军校总理，校部隶属中国国民党中央执行委员会。蒋介石和廖仲恺分任校长和党代表，下设教授部、教练部和政治部等。10月，增设校军教导团队(共两团)。这种体制大体延续到1926年3月，其间没有重大的变化。
