说起黎元洪的政治对头段祺瑞，也是一个传奇人物。
段祺瑞出身于一个军人家庭，其祖父段佩与刘铭传、张树声、周盛波、周盛传等人既是同乡，又同隶属于李鸿章的淮军体系之下，早年因*捻军有功而官居淮军统领。段祺瑞于1865年出生于安徽六安县太平集北的段家老宅，其父亲段从文倒是人如其名，一直耕读在家。段祺瑞五岁的时候，父亲段从文在合肥买下百亩良田，随后举家搬迁，因此段祺瑞又被人称为“段合肥”。
段祺瑞小时候主要受到祖父的影响，他在七岁的时候便被祖父段佩接到自己在宿迁的兵营，由此耳濡目染了军旅生活。尽管祖父给段祺瑞请了塾师带他念书，但年少时的段祺瑞却最喜欢舞刀弄棍，看书也只爱看排兵布阵、奇门遁甲之类的兵书（难怪袁世凯赏识他，原来两个人都有如此经历）。在那段日子里，作为小少爷的段祺瑞过得还是很惬意的。
但是，段祺瑞的好日子在14岁的时候戛然而止，因为他的祖父段佩在宿迁驻地突然亡故。失去了庇护的小段在军营中无以托身，只得将祖父的灵柩扶送回合肥老家安葬。不久，小段又只身一人步行2000多里，在风尘仆仆数十天后，终于赶到山东威海投奔了堂叔段从德，并在他的手下做了一名小兵。这一年，段祺瑞才16岁。
不幸接踵而至。就在段祺瑞来到威海的第二年，其父段从文在赶到威海看望儿子后，在回家途中被盗贼所害（离家不过30里地），盘缠掳掠一空，年仅39岁。噩耗传到威海后，段祺瑞请假奔丧而未获得批准。八个月后，段祺瑞的母亲因为哀痛过度，也不幸亡故。一年之内，父母双亡，段祺瑞这次才被批准回家奔丧。
回到家中后，看着自己年幼的弟弟妹妹（大妹启英12岁，二弟启辅10岁，小弟启勋9岁），18岁的段祺瑞心情十分沉重。作为家中的长子，段祺瑞在父母双亡的情况下，必须承担起照顾弟弟妹妹生活的重担。
家庭的变故和养家糊口的重担，使得段祺瑞心事重重，愁眉不展。作为普通一兵，段祺瑞是看不到生活的希望的。时来运转的是，李鸿章在1885年创立了天津武备学堂并拟从淮军中招收学员，刚满20岁的段祺瑞听说这一消息后喜出望外，他决心要抓住这改变命运的绝好机会，于是立刻报名应征并在考试中名列前茅，最终被选入炮兵科学习。
两年后，段祺瑞以“最优等”的成绩从学堂毕业，随后又被选派到德国去学习军事。据说，在初选名单里本来是没有段祺瑞的，但李鸿章看到选派人员中安徽籍的只有两个人，心中十分不悦，于是把山东籍的划掉一个，而改选了一个自己的小老乡，这个小老乡就是段祺瑞。说起来，李鸿章被人称为“李合肥”，段祺瑞后来也被称为“段合肥”，这两人还真有点缘分呢。
到德国后，段祺瑞等人进入柏林军事学校学习。在校期间，段祺瑞还闹起了剪辫风波，因为德国人看到中国人留着长辫子，觉得十分可笑，暗地里骂他们是“中国猪”，段祺瑞气愤难平，于是拿起剪刀要剪掉脑后的辫子。这时，督学荫昌正好进来，他看见段祺瑞要剪辫子，慌忙加以制止，这才避免了一场麻烦。
在其他人已经学成回国后，李鸿章再次指派段祺瑞前往克虏伯兵工厂实习，以熟悉并学习世界最先进火炮的制造和使用技术。直到1890年底，25岁的段祺瑞才返回国内，在进入北洋军械局不久，又调入威海随营学堂充当教习。
