如果说李鸿章的洋务活动是从“师夷长技”、“练兵练器”开始的话，那么李鸿章推进科举改革的努力则是以创办新式学堂作为突破口的。由于科举制度制约着教育制度，导致李鸿章在进行洋务运动，引进西方近代军事装备、机器之后，缺少相应的洋务人才。而这些西方军事装备和机器，只有同掌握近代科学技术的人才相结合，才能发挥应有的作用，否则就是一堆破铜烂铁。而这类洋务人才是没办法通过科举制度的旧教育培养出来的，所以在迈开“觅制器之器”的左脚后，李鸿章紧接着迈开了“觅制器之人”的右脚。
1863年，李鸿章在任江苏巡抚时，根据冯桂芬的建议，在上海设立广方言馆。1867年李鸿章和曾国藩、丁日昌一起在江南制造总局附设翻译馆。
由于沪局是一所专门制造军械的兵工厂，其中一些相关的近代军事技术离不开数学和其他科技知识，所以为了弄清“用器与制器之所以然”，就必须翻译西方有关工业制造和与之相关的学科著作，当时的李鸿章认为“翻译一事，系制造之根本”。应该说李鸿章在筹办洋务运动初期，敏锐地把握住了人才缺失这一问题的关键，采取了先易后难、由表及里的解决方法，但这一手段又因为其功利性而带有明显的局限性。从翻译的著作来看，李鸿章主要是倡导围绕军事技术探索西学，并不重视人文科学和其他基础理论著作的翻译，没有考虑到洋务运动的深化必然要由技术表层深化到文化、制度的骨髓。
1875年清政府决定大办海防后，李鸿章受命兼北洋海防大臣，四年后又受命管理各省购造船舰和部署等具体事务，海军衙门成立后更是一手掌握住清王朝近代海军的筹建大权，正是因为长期从事海军筹办的各种具体事务，李鸿章深感购买舰船难，想要找到能够统领先进舰船的将领更难。因此，兴办各种军事学堂，很快便成了李鸿章大量购买舰船以外的重要活动。这其中较为著名的是天津北洋水师学堂和陆军武备学堂，它们分别是中国最早的海军、陆军专科学校，其中作为中心的则是天津北洋水师学堂。
在计划创办天津北洋水师学堂之初，李鸿章就指出了它的重大意义：北洋海军如今规模逐渐扩大，但管轮和驾驶的初级军官的来源只有福州船政局，一方面难以满足对人才的数量需求，另一方面，水手多是南方人，容易造成人地两生的情况。
1881年8月天津北洋水师学堂建成，学校就建在天津机器局东局旁边。天津北洋水师学堂课堂所授内容和福建船政后学堂相比增加了一些外场课目，主要是一些步兵初级操练和枪炮、鱼雷等武器的使用，学习还细分为驾驶、管轮两个专业。对于根据北洋海军发展建设需要创办天津北洋水师学堂，李鸿章自己很有成就感，他曾在奏折里说道：“水师为海防急务，人才为水师根本，而学生又为人才之所自出。臣于天津创设水师学堂，将以开北方风气之先，立中国兵船之本。”
1884年中法战争中，福建海军遭到法国海军重创，南洋海军也遭到较大的损失，大清只剩下李鸿章北洋海军一枝独秀。李鸿章乘此时机促成海军衙门的设立，将海军建设发展的大权全部揽入手中，从此终于可以放开手脚干洋务了。
1885年2月，时任直隶总督兼北洋通商大臣的李鸿章根据淮军将领周盛波和周盛传的建议，在天津创办中国近代第一所陆军军官学校——天津武备学堂，这在当时各种水师学堂林立的背景下颇有独树一帜的意味。虽然它在中国近代史上仅仅存在了短短的15年，但它对中国军事近代化，尤其是对军事教育近代化的重要影响是不可忽视的。
