合肥可是李鸿章的天下，亲朋好友都在那里。李鸿章原本就是个出名的人物，这几年在曾国藩幕府接受训练，更是名声在外了。因此这次回合肥招募部队，简直是一呼百应。
李鸿章把合肥西乡的一些办的不错的团练都聚集了起来。当时西乡三山的一些比较有名的民办团练分别是：周公山下的张树生、张树珊兄弟的张老圩；大潜山北的刘铭传的刘老圩；大潜山西南的唐氏兄弟的唐老圩；大潜山南的董凤高董老圩；紫蓬山的周氏兄弟的周老圩。此外还有一些官办的团练，如紫蓬山就有解先亮带领的叶志超等人。在上述团练队伍中，最能打仗的是张氏兄弟、刘铭传和周氏兄弟的三支。先此，他们三人曾效仿刘关张桃园三结义，发誓要做出一点功业来。当听说李文安的儿子李鸿章在辅佐曾国藩，张树生曾写信给曾国藩表达过豪情壮志。当时，曾国藩看完信后，对李鸿章说，此人犹如东晋的祖逖。张树生年龄较大，得过廪生的功名，是三个人中间的老大。
李鸿章在安庆招募的团练中，最早编练的就是张树生统率的树字营，刘铭传统率的铭字营。随后是周氏兄弟的盛字营和李鹤章招募的人。还有三河潘鼎新和庐江吴长庆的队伍分别被编为鼎字营、庆字营。树、铭、鼎、庆等各支队伍到达安徽安庆集合后，曾国藩提出要接见这些团练的头目。在张树生和刘铭传等十几个人来到曾国藩的大厅之后，2月22日，李鸿章移驻安庆北门城外营内，曾国藩亲临祝贺。曾国藩一直躲在屏风后面一个多时辰就是不出来，暗中观察他们的反应。这些人当中，刘铭传表现得最为愤怒，一直在大骂，而张树生表现得最有耐心。曾国藩认为这两个都是不错的将才。由于招来的人马大部分是新勇，缺乏实际作战经验，人数也不多，自然不足以保护上海。于是，李鸿章又从曾国荃那里挖来了程学启的开字两营，并请求曾国藩从湘军中调拨兵力给自己。这样，淮军初具规模，有了13个营，共6500人。3月4日，李鸿章陪同曾国藩检阅铭、鼎、树、庆和程学启、腾嗣林等营，标志着淮军正式建成。从此李鸿章有了一支自己独立领导的队伍，这支军队是帮李鸿章正式走上清末政治军事舞台的“拳头产品”。
1862年的上海，清明。天气暖暖的，还泛着点早春的潮气。街上的人们悠闲地享受着春天的气息，互相打着招呼，客客气气地各自行路，仿佛上海从来就是这般太平清静。
其实，从年初开始，太平军就对上海展开了猛攻。在高桥和七宝两大战役中，慕王谭绍光将上海道台吴煦打得溃不成军。上海告急！上海城里的洋人决定帮助清军，他们组织了一支拥有400人、3门炮的洋枪队。联军很快与太平军交上了火。第一仗果然旗开得胜，杀了千余太平军，俘虏了三百人。可随后发生的第二次战役，洋人就神气不起来了。太平军虽然伤亡不少，联军也死伤惨重，甚至英军司令都腿部中弹。
照此情形看来，上海是不会安宁了。表面上悠闲的上海人暗地里都在议论着，究竟会是太平军占领上海，还是清军和联军把他们打退？人们纷纷猜测，听说太平天国里女人不裹脚，男人不剃头，野蛮得很，上海人不喜欢；现驻上海的清军腐化堕落，一点军人的样子都没有，上海人也不喜欢；赖在上海的洋人飞扬跋扈，上海人更不喜欢。究竟哪种势力统治上海比较好，成为街头巷尾人们的谈资。
“突突突突……”的声音从江面上传来，战争中的高度警惕性使人们心里一紧，慌忙朝黄浦江上望去。只见有2艘，又像是3艘，又好像更多的火轮船冒着浓浓的黑烟，从远处慢慢驶来。这是谁的船？是商船还是战船？船上运的是什么？人们纷纷揣测着。船驶近了，人们渐渐肯定这不是商船，因为每艘船的甲板上都站满了人，但又肯定不是客轮，因为甲板上的人都穿着同样颜色和款式的衣服。岸上的人也终于看清了船上的人，这些人的衣服破破烂烂的，上面布满了汗渍和油腻，已分辨不出原来的颜色。上海人注意到，船上来的人虽然大多衣不蔽体，但一个个倒是挺注意用布把头包得严严实实的。从他们衣服背部依稀缀着个“勇”字。看来，这是一支军队。这是谁的军队呢？驻上海的清军绝对不是这个样子的。他们官穿袍，兵着褂，腰间气派地插着排刀，身穿颜色鲜艳的号衣。这些人的长相又显然表明他们是中国人，并非洋军队；他们头顶前部也没有留头发，因此也不会是太平军。所有这一切，都让上海人摸不着头脑。他们奔走相告：“叫花子兵来了，叫花子兵来了！”
这支“叫花子兵”即后来大名鼎鼎、成为大清主力国防军的淮军，首领便是李鸿章。李鸿章从家乡招募了这支其貌不扬的军队，专程来支援上海清军对付太平军。李鸿章因个子瘦高及为人清高，还得了个“云中鹤”的雅号。
李鸿章组建淮军时，虽得到曾国藩支持而较为顺利，但也遇到了困难：一是军心不稳；二是缺乏统帅；三是粮饷不继。但总的来说，淮军的建立不仅扩大了湘军力量，而且也使李鸿章拥有了兵权，为其今后的军旅生涯奠定了基础。
淮军仓促成军，同湘军相比较，有不同的特点。
湘军初创之时，兵将均出自湖南，其组建原则是“选士人，领山农”。其将领主要是一些名利熏心而政治地位不高的地主阶级知识分子，“修身、齐家、治国、平天下”的传统人生信念在他们的头脑中根深蒂固，“忠君”思想极为浓厚。而曾国藩就是依靠程朱理学，以忠君报国的“真诚”、“血性”为精神支柱来统率湘军的。
在组建淮军的过程中，由于急于求成，队伍中成分复杂。李鸿章在任命统领时，看重能力，至于他们是否出身贫寒，是否有文化，都不是很在意。他鄙弃那些空有一肚子才学而不知世事之人，也不认为出身贫贱就低人一等，他甚至敢于任用盐贩子出身的人和太平军的降将。在淮军主要将领中，只有潘鼎新一人是举人出身，其余的如程学启是太平军降将，品德低下；刘铭传是贩卖私盐的头子，唯利是图观念相当浓厚，却不知多少忠君报国的大道理。至于兵勇来说，湘军士兵一般是山村朴实无华的农人，他们易于接受传统思想的灌输。而淮军主要兵源来自于团勇和太平军降众，可谓“兼收并蓄”，杂凑而成。因此，淮军虽也有浓厚的地方乡土色彩，但较湘军为淡，且其将领不学者多，无共同的最高理想，唯以功名利禄是图，因而军纪与精神远逊于湘军。但是，湘淮“本系一家，淮出于湘，尤有水原木本之谊”，因而湘军和淮军有基本一致性。如营制饷章、编制训练以及武器装备上，淮军与湘军是一脉相承的。总之，淮军既是对湘军的继承和发展，又不是简单重复；淮军既与湘军有相同之处，又具有本身特点。这与淮军所处客观历史条件和环境有关，也是由它的统帅李鸿章的建军、治军思想决定的。
淮军既已组成，如何从安庆开拔到上海是一个棘手的问题。安庆、上海两地不仅相距遥远，而且间隔太平天国控制区，要突破太平军防线，千里跃进上海，其艰险程度可想而知。曾国藩原拟令李鸿章率军由陆路进军，后因上海绅商出银18万两，雇得洋商轮船7艘开到安庆，为顺应上海绅民之情，李鸿章与曾国藩经过商议，最后决定“由水路东下，直赴上海”。
1862年4月5日至6月上旬，李鸿章统率的淮军13营6500人分三批由安庆顺江而东，躲过太平军的监视，抵达上海。临别安庆前夕，曾国藩担心李鸿章因缺乏阅历而摆不正“练兵学战”与“吏治洋务”的位置，因而他告诫李鸿章要把军事放在首位。在他看来，只有练就精兵，学会作战，才能站稳脚跟，飞黄腾达，否则将一事无成，甚至有丧失生命的危险。
他又针对李鸿章心高气盛、急躁、傲慢、任性的致命弱点，特以“深沉”二字相劝，其他好友也纷纷提出忠告。李续宜以“从容”二字规之，沈葆桢、李桓以“勿急”相戒。李鸿章深受教益，对于师友们的劝诫，“当奉为枕中秘”。
