1861年下半年，太平军在浙东、浙西战场连获大捷，直逼杭州、上海。
上海受到太平军威胁，士绅们惊恐万分，一边迅速成立“中外会防局”，以期依赖洋人武力保卫上海；一边又选出士绅代表、前清名臣钱宝琛(浙江巡抚)的儿子钱鼎铭，带着募集的20万两白银，雇用了几艘外国轮船，率人前往安庆，向曾国藩求援。
曾国藩认识到上海对兵饷的重要性，但是眼前自己驻扎在安庆的湘军要对付南京的太平军老巢，无力派兵去上海。曾国藩首先派弟弟曾国荃东援上海，但此时的曾国荃正一门心思为进攻南京、立头等功而积极备战，哪有工夫去管这种闲事，所以对曾国藩的指示一拖再拖。
叫不动自己弟弟，曾国藩只好将东援上海的任务交给手下陈士杰，这个陈士杰倒是立刻行动起来，在家乡招募了上万兵勇积极训练，可是只摆架势，没有行动。这下曾国藩急了，朝廷可是一个劲儿地下旨催他啊。找来陈士杰一问，敢情这是个贪生怕死的主儿，真是太不靠谱了。结果曾国藩找了一圈，还是李鸿章比较可靠，老师话一出口，李鸿章立刻跃跃欲试，把活儿接了下来。
其实李鸿章心里的算盘打得好着呢。自从在老家安徽打了几次胜仗后，他虽然晋升为四品官，但进入曾国藩幕府后，这一官职便成了虚衔，根本没有行使四品官实权、独立带兵打仗的机会。而且，曾国藩的湘军大营中人才济济，他很难等到独当一面的机遇。所以一直以来李鸿章都在期盼着能有一个自己做主、建功立业的机会。这一次简直就是“天上掉馅饼”，李鸿章当然不能错过。
但此时的李鸿章还是“光杆司令”一个，兵还得回老家合肥现招。这时候当年办团练的经历就派上用场了。
李鸿章和弟弟李鹤章兵分两路，一边去寻找当年解散的团勇，一边联络起当地有名的团练头子张树声。说起这个山大王张树声，他父亲和李鸿章的父亲是在办团练时结交的好兄弟，所以李鸿章和张树声很容易就攀上了“世交”的关系。
张树声又把自己手下的大将刘铭传等叫来一起给李鸿章干活。除此之外，李鸿章还把自己的学生刘秉璋也拉来入伙，这个人本来就对太平军恨之入骨，加上又很崇拜李鸿章，所以李鸿章一召唤，他就欣然加入淮军，后来不仅成为李鸿章的心腹大将，还与李结为儿女亲家。
通过东拉西扯的人脉网，不到两个月李鸿章就在合肥召集了两万多人的乡勇，速度之快真是让曾老师都望尘莫及了。不过要求那个阶段的李鸿章做到“又快又好”实在是太难为他了，所以当时招募出来的军队，简直有些“四不像”。从外形来看，这些兵高矮长短，参差不齐；从服装来看，他们没有统一制式的军服，随便身着自己的衣服，五颜六色，有的还破烂不堪；从军人素质来看，他们根本不会队列，甚至连排队都不会。如果说这支军队还有那么一点统一的标志，那就是大家头上都扎着一条毛巾。
就在李鸿章紧锣密鼓地招募江淮乡勇的时候，朝廷方面也有了新动向。由于迟迟等不来援军，他们打算求洋人帮忙镇压太平军。当时上海有一支华尔领导的“洋枪队”，由于经常在和太平军的作战中取胜，又被人们称为“常胜军”。曾国藩对朝廷这种“借夷助剿”的做法很不赞同，认为只是治标不治本，而且若是让洋枪队发展壮大插手中国事务过多，很可能将来“尾大不掉”。于是曾国藩催促李鸿章尽快出发去援助上海。此时李鸿章的淮军粗略分成五个营，也来不及进行系统训练，基本装备和训练方式完全是照搬湘军的模式，以刀、矛、小枪为主要兵器。
