北洋武备学堂肄业，参加甲午战争，随使东瀛，对冯国璋的军界地位都没有产生多大的影响，他仍然处于边缘地位。袁世凯小站练兵，奠定了北洋新军的基础，也使得冯国璋在军界崭露头角。从此冯国璋搭上了袁世凯这班车，深度参与晚清时期的军事教育，成为当时中国影响颇大的军事理论家和军事教育家。
一、小站练兵
甲午之役，中国竟败于蕞尔小国日本，清廷上下大为震惊，于是编练新军的呼声日盛，这才有小站练兵之举。
位于天津市津南区的小站练兵园
小站距天津东南70里，原名新农镇，是天津至大沽站中间的一个铁路站。原淮军军部曾在此驻扎屯田。清光绪二十一年（1895年），在李鸿章的军事顾问汉纳根（Von Hanneken）的建议下，清政府派遣长芦盐运使胡燏棻在小站以德国陆军操典编练“定武军”10营，计4750人，包括步队3000人，炮队1000人，马队250人，工程队500人
。胡燏棻（1840—1906年），安徽泗州（今泗县）人，祖籍浙江萧山，字芸楣，亦作云眉。进士出身，捐道员，得以补天津道。先后任广西按察使、顺天府尹、总理各国事务大臣、邮传部侍郎等职。他一生力倡维新，主张向西方学习，振兴国家。正因为胡燏棻有一定的新式思想，所以被委办编练新军事宜。后调任津芦铁路督办，才由袁世凯接替他。
“定武军”的各级军官多为淮军将领，另外还选拔了天津武备学堂毕业生何宗莲、吴金彪、曹锟、田中玉、刘承恩等担任教习或军官，并购买西洋先进武器，期望以新式装备、新法训练形成新的军队阵容。袁世凯奉旨接替胡燏棻后，立即将“定武军”进行扩编改造，制定新的军制，并全部用洋枪洋炮武装起来，成“新建陆军”。
新建陆军包括步队八营，共8000人；炮队两营，共2000人；马队两营，每营500人，共1000人；工程队一营，计1000人。全军总共1.2万人，以步队为主，炮队为辅，马队巡护，工程队供临时调遣。在编制上分为两翼，设统领2人，下设分统、分领训练，每分统统辖步队二千，炮队二千，马队一千。其组织如下：
新建陆军步队营，设统带官兼1员管辖全营，帮统带官1员，管带领官4员，哨官12员，哨长24员，督排哨长4员。
新建陆军炮队营，设统带官1员，管辖全营。帮统兼左翼领官1员，管辖3哨。副领官兼哨官3员，哨长9员，各管重炮2尊。管查炮马哨长1员，帮统兼右翼领官1员，管辖3哨。副领官兼哨官3员，哨长12员，管查炮马哨长1员，帮统兼接应马炮队领官1员，管辖3哨。副领官兼哨官3员。哨长9员。管查炮马哨长1员。
新建陆军马队营，设统带官1员，管辖全营。帮统官1员，领官兼哨官4员，哨官8员，哨长12员。
新建陆军工程营，管带官1员，帮带官1员，委员1员，管理桥梁司队官1员，木工4队，铁工1队，水工2队。管理地垒司队官1员，筑工4队，石工1队，筐工2队，土工2队。管理电雷司队官1员，雷兵3队，管理修械司队官1员，修炮铁工1队，修枪铁匠2队，修械木工1队。管理测绘司队官1员，测绘1队，印化兵1队。管理电报司队官1员，工匠1队。
新建陆军督练处，督练官1员，稽查全军参谋军务营务官1员，执法营务官1员，督操营务处1员，督队稽查先锋官14员。另教习处洋教官13员，翻译13员，粮饷局总办委员1员，管理采买制造委员2员，军械局总办委员1员，收发军械委员2员，军医局正医官1员，副医官1员，还有转运局、侦探局等。
新建陆军须帐篷2400个，全部用外国帆布制造，每名士兵均备洋制雨衣、雨帽和洋毯，每哨有洋表、双筒望远镜和指南针。每二营有行军电台。每官长有督队腰刀1把，手枪1只。
新建陆军的建成，标志着我国第一支陆军近代化的完成。做出这个判断的理由是：第一，这支部队全面使用了西式武器、西法编制、西法操练，增强了自身的战斗力；第二，这支部队已不是单一步兵的旧式陆军，而是一支拥有步兵、骑兵、炮兵、工程兵等多兵种的部队；第三，这支部队起用一批出身于洋学堂（包括从国外回来的留学生）的青年军官。
据说，直隶总督兼北洋大臣荣禄视察新建陆军时，对该军的装备和训练有素赞赏有加：“会协办大学士荣禄奉诏检阅新建陆军，时公方统工程营，凡水雷、旱雷、踩雷及各种制造，独运精思，创制奇诡。荣相阅视，尤为嗟叹。翌年二月，荣相复奉命来镇检阅。荣相之往来须过海河，见公所制帆布桥，步骑炮车行过如履坦途，而散则为舟，可游泳，事过拆卸卷藏。荣相深为惊异，反复来，公复为架布桥。”这里所说的“公”还不是指冯国璋，而是王士珍，时王氏正充新建陆军工程营管带。荣禄从未见过这么多的新式装备，他的赞叹肯定是由衷的。这时，冯国璋在干什么呢？
冯国璋加入小站练兵的队伍后，先是被委任为督操营务处帮办兼步兵学堂监督。袁世凯取得小站练兵权以后，聘翰林出身的徐世昌任参谋营务处总办（也就是他的参谋长），可徐世昌根本不知兵，袁世凯不得不从北洋武备学堂毕业生中寻找练兵和带兵的干部。荫昌给袁世凯推荐了四个主要干部，即王士珍、段祺瑞、冯国璋和梁华殿，王士珍被任为讲武堂总教习兼工程营管带，段祺瑞被任为炮兵学堂监督兼炮兵营统带，梁华殿被任为督操营务处总办。可梁华殿有才无命，到小站后不久，即在一次夜间操练中不慎落水淹死了，冯国璋遂被提升为督操营务处总办。
冯国璋在小站练兵期间做出的最大贡献，是制定出一套比较完整的营规操法。小站练兵之初，袁世凯只是在“定武军”的基础上，仿照德国陆军模式扩充组建起一支队伍。但是，所有奠定新军基础的一切工作刚刚起步，军制、条规、操法粗糙零乱，需要全面筹划。而制定营制军规，是一项颇为复杂的系统工程，这个重任就落在了冯国璋的身上。
冯国璋从两个方面着手制定营规操法。一方面，邀请在华的外国军事专家到小站研讨兵法，力争使新建陆军的营制操典与国际标准接轨。另一方面，根据新建陆军现有的规模，结合个人所学兵法的体会，“讨论折中”，与王士珍、段祺瑞等几位总办合作，将各兵种的兵法、操典、营规以及各项图说，“次第成书”。其中，大都由冯国璋“一手修定”。
冯国璋主导的这套营规章程共计有十八种，如兵丁驻扎营内暂行章程、操场暂行规则、出操规条、行军暂行章程、择地暂扎各条、夜战防守暂行章程、监战条规、打靶法式、验报枪枝章程、损械罚章等等，内容系统规范，具有可操作性。冯国璋明确要求“教练诸法，必由督操处会同洋员，按照泰西新式操法，先教官长，依次转教兵勇，以期一律。凡教一事，又必须操练纯熟后，始可依次加进，不得躐等草率”。意图严格训练，达到国际水准。与湘淮军单纯添练洋操相比，前进了一大步。清光绪二十四年（1898年）秋，英国海军司令贝思福到小站参观各队操演后，评价新建陆军兵弁“操法灵熟，步武整齐”；野战演习时，官兵“娴习口号，熟谙行阵”，认为新建陆军“为中国最有望之兵”。
冯国璋在为新建陆军制定营制军规的过程中，并不是完全照抄西方国家的先进经验，而是渗透进中国传统文化要素。谨以冯国璋参与编成的《劝兵歌》为例，就是教育士兵要好好当兵：
谕尔兵，仔细听：
为子当尽孝，为臣当尽忠。
朝廷出利借国债，不惜重饷来养兵。
一年吃穿百十两，六品官俸一般同。
如再不为国出力，天地鬼神必不容。
自古将相多行伍，休把当兵自看轻。
一要用心学操练，学了本事好立功；
军装是尔护身物，时常擦洗要干净。
二要打仗真奋勇，命该不死自然生；
如果退缩干军令，一刀两断落劣名。
三要好心待百姓，粮饷全靠他们耕；
只要兵民成一家，百姓相助功自成。
四莫奸淫人妇女，哪个不是父母生？
尔家也有妻与女，受人羞辱怎能行。
五莫见财生歹念，强盗终久有报应；
纵得多少金银宝，拿住杀了一场空。
六要敬重朝廷官，越分违令罪不轻；
要紧不要说谎话，老实做事必然成。
七戒赌博吃大烟，官长查出当重刑；
安分守己把钱剩，养家糊口多光荣。
你若常记此等话，必然就把头目升；
如果全然不经意，轻打重杀不容情。
过去我们总是指责这首《劝兵歌》是为了维护“封建统治”的需要，有麻痹普通士兵思想的嫌疑。现在重新打量其中的歌词，有哪句不是教人守法向善的？“安分守己把钱剩，养家糊口多光荣”，这句歌词尤其令人动容，这正是中华民族家文化的精髓。
二、完善新军军制
如果说小站练兵时期制定营规操法仅仅是冯国璋对中国近代军制做出的初步贡献，那么，其后他跟随袁世凯率部移驻山东和担任直隶军政司教练处总办期间所做的工作，特别是常备军制度的建立，使得中国近代化的军制建设得以完成。
聂士成的武毅军
清光绪二十五年（1899年）十一月，清政府派袁世凯署理山东巡抚，袁世凯乃率所部移驻山东，此时已改称武卫右军。在前一年，练兵大臣、大学士荣禄督练武卫军，这是清政府“集权中央”的一种做法。荣禄创建的武卫军，最大的特点是将主帅统辖的权力付与满人，削弱汉人掌兵的权力。因此，荣禄把直隶提督聂士成的武毅军调驻芦台，改其番号为武卫前军；把甘肃提督董福祥的甘军调驻蓟州，改其番号为武卫后军；把四川提督宋庆的毅军调驻山海关内外，改其番号为武卫左军；袁世凯的新建陆军被改为武卫右军。荣禄则另募亲兵一万人，号武卫中军，驻防南苑。这就是荣禄编练的武卫五军，明的是加强京师外围的警备实力，暗的则置于交通便利、耳目易周的地方，以便控制。
在此武卫五军中，聂士成武毅军、董福祥甘军、宋庆毅军，皆以旧将练新兵，战斗力不强。义和团运动风起，聂士成殉难天津，董福祥遣戍新疆，毅军无所作为，荣禄的武卫中军亦溃败不能成军，硕果仅存者只是袁世凯的武卫右军。武卫右军调驻山东，得以保存其原有的实力，并且还扩张了自身实力，这就是改编山东旧军。
原来，山东有旧军达34营，军伍混乱，散漫无纪，陈迹相因。袁世凯将山东旧军改编为新军，遂调冯国璋负责山东全省军队督操事宜。接受命令后，冯国璋决心从根本做起，改定营制。他按新法设官编伍，汰疲弱去冗杂留精壮，“裁莠存良”，把分散芜杂类如乌合之众的兵勇，改编成包括步、马、炮三个兵种，总共二十个营，共计一万四千人的新式部队。清政府赐名“武卫右军先锋队”。在改编山东旧军的过程中，冯国璋进一步改进了新建陆军军制的不足，使其更接近于西式军制。
新建陆军原有的军制大致是：一军分两翼，每翼下设营、队、哨、棚四级。作战以营为主，每营分四队，队下有三哨。队的编制是模仿湘军兵制，因兵器不同而分。现既已按兵种设营，队的建制则重叠隔膜，遂将其取消。哨是最基本的战斗单位，冯国璋减少营员，增加哨员，改为每营设四哨，每哨分九棚。这样，每翼下面的层级就减少了一级，只剩下营、哨、棚三级。这种编制方法也成为后来民国陆军军制的基础。
清光绪二十七年（1901年）10月，袁世凯由山东巡抚升任直隶总督兼北洋大臣，又开始了新的一轮扩充北洋军实力的努力。袁世凯“整军经武”的活动正逢其时，因为在他升任直隶总督的第二年，清政府就下谕，要求“各省督抚整顿兵制，期归一律”。对于这一上谕，袁世凯积极响应，很快就制定出募兵章程十九条上报清政府。清光绪二十八年（1902年）2月2日，袁世凯又向清政府上奏说：“直隶幅员辽阔，又值兵燹以后，伏莽未靖，门户洞开，亟须简练师徒，方足以销萌固圉。”“惟入手之初，必须先募精壮，赶速操练，分布填扎，然后依次汰去冗弱，始可兼顾，而免空虚。现拟在顺直善后赈捐结存项下，拨款一百万两，作为募练新军之需”。清政府批准了他的要求。于是，袁世凯在保定创办直隶军政司，作为北洋军的总部。直隶军政司督办由他本人自兼。军政司下设兵备处、参谋处、教练处，分别以刘永庆、段祺瑞、冯国璋为总办。教练处的职责是“考查训练兵队及审定学堂课程等事”，责任也是很重的。教练处另设帮办一人，由郑汝成担任（以后曾任上海护军使）。教练处下设二股，提调二人，分别由李纯（以后曾任江苏督军）、南元超担任。其时，冯国璋已由补用知州升为补用知府。
清光绪二十八年（1902年），冯国璋与段祺瑞、王士珍等联手，依照德国军制拟订出《北洋常备军营制饷章》，在国内首先创建了常备军制度。规定常备兵、续备兵、后备兵各以三年为期。现役常备兵三年，月支全饷；期满后退为续备兵，月饷减至一两；又三年退为后备兵，月饷减半，平时各就其业，冬季调操一个月，发全饷；再三年除去军籍，不予征调。这样，年限减少，并给予常饷，可使“编氓不生疑畏之心，军伍易广招徕之路”。当年，北洋常备军左镇建成，共十营六千人，编制方法为镇(师)、协(旅)、标(团)、营、队(连)、排、棚(班)。北洋常备军实行番号、武器、服式、军制四统一，“实开常备军风气之先”。至清光绪三十一年（1905年），北洋常备军编成六镇、共七万人(含学兵营)，是为全国编练常备军的楷模。
