从咸丰三年（1853年）到咸丰七年（1857年），李鸿章就一直在安徽办团练，这几年他有胜有败，有人夸他既是文翰林又是“武翰林”，也有人骂他“翰林变作绿林”，不管怎样，这都为他出任淮军统帅积累了经验和人脉。
招兵买马，重用程学启
合肥附近现成的团练有很多，首领们和李鸿章都有千丝万缕的联系，何况李现在背靠有权有钱的大树曾国藩，团练首领也乐得投靠，李鸿章招兵根本用不着回合肥。他一封信叫来了曾经的门生潘鼎新部，又通过门生刘秉璋罗致来了吴长庆部，他父亲的旧部张树声本就在安庆，除了带来自己的人马又向李鸿章推荐了刘铭传。1862年初，张树声、刘铭传、潘鼎新、吴长庆四部在安庆集结，“树、铭、鼎、庆”四营也成为淮军最核心的力量。此外，张遇春的“春字营”本就是李鸿章办团练时的老部下，现在重回淮军序列自是题中应有之义。
为了让淮军具备一定的战斗力，曾国藩还从湘军中调拨部队，作为“奉嫁之资”，先是把自己的两营亲兵拨给李鸿章，又从湘军中拨“林字营”两营，“熊字营”、“垣字营”各一营。而“嫁妆”中最具含金量的是“开字营”两营，他们的统领是程学启。
程学启是安徽桐城人，早年加入太平军，是安庆的一员守将。湘军围攻安庆时，程学启受命守卫安庆北门石垒。桐城人孙云锦劝程学启投向湘军，此事被安庆主将叶芸来察知，命八名精壮士卒持令箭招程学启入城。程学启急中生智，拿着令箭带手下精锐82人投奔曾国藩弟曾贞干营，曾贞干来不及穿鞋光脚打开营门纳降，这82人中就有后来的北洋水师提督丁汝昌。
曾国荃却对这个降将不信任，他让程学启守在护营壕外侧，首当敌冲，并且把炮口对准程学启军营。为了获取曾的信任，程学启是白天有硬仗抢着上，晚上躺在床上流眼泪，甚至动过自杀的念头。更为雪上加霜的是，胡林翼和曾国藩又给曾国荃写信，让他小心提防降将，曾九帅嫌麻烦，准备一刀屠了程学启，以绝后患。在孙云锦的苦苦辩白之下，曾国荃才作罢。时时刻刻危在旦夕，命也就不值钱了。程学启亲率部卒由炮眼攻入安庆北门外三垒，断绝了守城太平军的陆路粮道，又率先攻入安庆城中。曾国荃这才又拨给他一营指挥，加上原来的一营，合为“开字营”。
湘军门户之见颇深，而曾国荃更是“不独尽用湘乡人，且尽用屋门口周围十余里之人”，安徽人程学启自然郁郁不得志。李鸿章见他作战勇猛，又是同乡，起了招揽之心，一方面向曾国藩、曾国荃索借，一方面派人私下拉拢。程学启最初还不敢表态，示无二心，等曾国藩批准后始真情流露，对李鸿章的说客言：“吾辈皖人入湘军，终难自立。丈夫当别成一队，岂可俯仰因人。”
这话说到了李的心坎上，他在湘军营中湖南人的气也没少受。有一次彭玉麟拿他的作息习惯进行地域攻击：“少荃（李鸿章字）每日晚睡懒起，想必皖地民风若此，无怪合省以负贩为业，少有正途。”李鸿章抓住彭玉麟父亲曾在安徽当官反唇相讥：“雪琴（彭玉麟字）有所不知，安徽民风勤勉，然自令尊执掌数载，竟令做慵懒之态尔。”彭对李“遂用老拳”，李对彭“亦施毒手”，两人在地上扭打成一团??
反正，李鸿章和程学启在“安徽人要自立”这件事上达成了共识。
程学启
深得湘军真髓，学扎营绝技
队伍是暂时拉起来了，需要建立合理的制度以便指挥，这个不用李鸿章发愁，曾国藩带湘军的这些年已经摸索出一套成法，淮军照猫画虎套用即可。淮军以营为单位，每营前后左右四哨，每哨两个抬枪队、两个鸟枪队、四个刀矛队，此外还有个亲兵哨，由三个刀矛队、2个劈山炮队、一个鸟枪队组成，一营大概505人。劈山炮是用于杀伤步兵的轻型小炮，乾隆朝主持金川战事的张广泗曾说劈山炮“仅能对敌于行阵之前，无益于催坚之用”。炮身系模制而成，炮子系所谓群子，每子如葡萄大，为生铁或熟铁铸成圆滑颗粒，先装火药于炮膛，再加群子百余颗入炮膛，点火线轰发。曾国藩所谓“喷薄而出，如珠如雨，殆无隙地，当之辄碎，不仁之器，莫甚于此矣”。 淮军还吸取了湘军的长夫制度，每营配长夫180人。长夫有点类似于现代战争中的工程兵，负责各种工事的修建。曾国藩创立长夫制度，算是中国工兵的先声。而湘军作战之“硬寨”之所以能扎得住，也和有一支专门的建筑大军有关。
“树、铭、鼎、庆”四营都是团练，说白了算是乌合之众，李鸿章亲自对他们进行了训练，也是按照老师曾国藩的成法：要能上得一丈高之屋，跳过一丈宽之沟，以便能踹破敌营；要能手抛火球到二十丈外；要能腿绑沙袋日行百里。
而淮军从湘军学到的最为宝贵的战术，是扎营绝技。湘军无论攻城或野战，必先扎营，无论风雨寒暑，不厌其烦，营没扎好不准休息、也不准去搦战。湘军基本一营一垒，而淮军有时一营两垒。湘淮军把营垒叫“墙子”，还有一套站墙子法，虽说为其独门秘籍，实际上是个勤能补拙的笨办法——士兵站在主墙后的子墙上守望四方，时时警戒，以备偷袭。相比较其他部队巡营和岗哨不同的是，湘淮军站墙子的士兵很多，白天十分之三、晚上十分之一，这显然增大了快速发现来敌的概率，也加大了部队的反应强度，首先立于不败之地。
李鸿章自诩为曾国藩“门生长”，以曾氏嫡传自居，确不算自吹自擂，淮军也深得湘军真髓。1862年年底打福山时，刘铭传要猛扑敌营，潘鼎新担心对手援军截杀，祭出翻墙子大法，先筑一营稳守，再向前筑一营，移后营之兵于前营，再调兵守后营，环环相扣，营垒连绵，直向敌营。稳扎稳打、步步为营，简直如同湘军附体。
淮军时代的到来
1862年5月31日，曾国荃率兵进驻天京城下，洪秀全派专使一天三次催促李秀成回援。李秀成被迫率兵回苏州，召集手下诸王商议救援大事。而淮军也开始分批次装备洋枪并改编营制，首先以旧换新的是韩正国的亲兵营和程学启的开字营。改编后，以前的刀矛队、鸟枪队、抬枪队全部不复存在，而代之以洋枪队和劈山炮队。以前每营只有鸟枪、抬枪124杆，外加两队劈山炮，现在每营有洋枪400杆，劈山炮10队，火力自不可同日而语。
洋炮不像洋枪那样容易购买，李鸿章对华尔全心笼络，让华尔答应为淮军请工匠制造洋炮。在1863年初，张遇春的春字营已有200人的炮队参加战斗，这是淮军成立的正式炮队，也是中国炮兵制度的发轫。当年6月，淮军攻苏州时，程学启和刘铭传都有了自己的炸炮队伍。他们所拥有的主要是12磅短炸炮，即臼炮，因为炮身短、口径大，炮口向天，形如怒蛙，也叫“田鸡炮”，算是现代迫击炮的前身。当时尚无调整高低角度和炮口方向的装置，所以发射时一般固定于45度角，用加减装药来定射程之远近。由于弹道弯曲，对遮蔽物后的目标有较大威胁，可以用来攻城。这种炮还是前膛装弹，可用实心弹和榴弹，李鸿章看重的就是 “落地开花”，所以淮军喜欢用榴弹。而刘铭传有两门32磅的长炸炮，就是加农炮，发射仰角较小，弹道低平，可直瞄射击，更适合用于攻坚战。
坐稳了封疆大吏位子的李鸿章通过招募、借兵、改编原有防军等手段继续扩大着淮军的阵营，到1863年，淮军在原有13营的基础上增立营头30多个，兵力超过2万人。作为中国当时最先进的军队，一个属于李鸿章和淮军的时代就此来临。
