同治元年（1862）秋天，经过升级改造，淮军的鸟枪队已大部分成为洋枪队，刀矛队、抬枪队也逐步洋枪化，同时每哨添设两队劈山炮。改制后的淮军，每一营营官亲兵由两队劈山炮和四队洋枪队组成，前后左右四哨每哨由两队劈山炮和六队洋枪队组成。每营有劈山炮十队四十尊，洋枪二十八队计三百二十八杆。同治二年（1863）正月，淮军第一支炮兵成立，由两百名炮兵组成，归春字营统领。这支炮兵也是中国军队第一支近代化炮兵部队。以后几年，李鸿章便把淮军的装备全部现代化，劈山炮和刀矛逐年减少，最后全部淘汰。
同治二年（1863）三月十七日，李鸿章在给曾国藩的信中说：
西洋炸炮，重者有数万数千斤，轻者数百数十斤，战守攻具，天下无敌。鸿章现雇洋人数名，分给各营教习。又募外国匠人，由香港购办造炮器具，丁雨生（丁日昌，字禹生，又作雨生，号持静，广东丰顺人，原为曾国藩幕僚，同治元年被派往广东督办厘务和火器）即来监工。又托法英提督，各代购大炮数尊，自本国寄来，大约今年底可渐集事。每思外国兵丁口粮贵而人数少，至多以一万为率，即当大敌。中国用兵，多至数倍，而经年积岁不收功效，实由于枪炮窳滥。若火器能与西洋相埒，平中国有余，敌外国亦无不足。俄罗斯、日本从前不知炮法，国日以弱，自其国之君臣卑礼下人，求得英法秘巧，枪炮轮船，渐能制用，遂与英法相为雄长。中土若于此加意，百年之后，长可自立，仍祈师门一倡率之。
这封信函，堪称中国“自强运动”的早期宣言。李鸿章谈及俄罗斯、日本的一段，更代表了他对洋务与自强的朦胧认识。
然而，曾国藩对采用洋枪、洋炮，颇不以为然。他在一封信中写道：“鄙意攻守之要，在人而不在兵，每戒舍弟不必多用洋枪。而少荃到上海，复盛称洋枪之利，舍弟亦难免习俗之见。开以风气，殊非所欲。洋人号令严明，队伍齐整，实不专以火器取胜。此次金陵援贼，洋枪极多，而我军坚持如故，且有开花炸弹打入营中，未伤多人，我以炸弹打入贼营，贼亦不甚慌乱，此事似无必胜之道。”
曾国藩的说法，也不是全无道理，至少他已经意识到，如果没有洋人之法相配合，光靠洋武器，是不能发挥作用的。但他的结论是：宁愿放弃洋武器，也要保持中国传统的练兵方法，也就是湘军传统的治军之法。
李鸿章试图说服曾国藩，让他从另外的角度去思考问题：为了发挥洋枪的作用，应该实行洋法治军，哪怕放弃传统的方法。他在给老师的信中说：“洋枪实为利器，和（春）、张（国梁）营中虽有此物，而未操练队伍，故不中用。敝军现择能战之将，其小枪队悉改为洋枪队，逐日操练，洗刷子路，有较抬炮更远者。程学启三营中，并改出洋枪队一营（每哨添劈山炮二队），临阵时一营可抵两营之用。惟月需洋火洋药皮纸甚夥。沅丈（曾国荃）处似宜多添，即春霆（鲍超）、凯章（张运兰）各营，亦宜操用，有便船至皖，鸿章仍须附解若干也。”
