咸丰二年（1852年）6月12日，曾国藩在焦急不安中被钦命充江西乡试正考官，奏准回籍探亲。曾国藩选择了6月24日这天出京，李鸿章当天起得很早，专程把老师送到卢沟桥。
李鸿章在卢沟桥送别老师曾国藩以后，不消半年，太平天国革命烈火便迅猛地烧向北方，太平军舍弃久攻不下的长沙，出洞庭，占岳州，顺江而东，攻打武昌。翰林院表面上依然那么沉静悠闲，然而翰林们毕竟也沉不住气了，无心再编史撰文，见了面都不免议论起战事来。
这天，李鸿章正忧郁地背了手独自站在窗前仰天沉思战局，同屋的翰林检讨湖北邓文恭忽然慌慌张张从外面走了进来，说道：“武昌失守了。湖北巡抚常大淳和满城藩台、臬台司道都已殉难。”
李鸿章没想到太平军的气势如此汹涌，他已无心处理公务，背了手在室中来回蹀躞沉吟，脑中思绪很乱，朝廷所派督师大臣赛尚阿大学士已因作战失利，被革职拿问，广西提督向荣所带绿营官兵也拦不住太平军这头猛虎。天寒地冻，洪秀全也许会在武昌度岁，若是过了年从武昌顺江而下，计算水程，不出十日，便可危及安庆。“明年正月安徽要遭大难了。”李鸿章忧虑地喃喃叹息。
1853年3月，太平军大举进入安徽。还是2月下旬的一天早晨，李鸿章吃完饭在琉璃厂闲逛，偶遇一位安徽同乡。从他口中得知，省城安庆已陷，抚台蒋文庆已然毙命，家乡很快就要被太平军全部占领了。情急之下，李鸿章径直来到了吕贤基的家。
吕贤基也算是李鸿章的老乡，字鹤田，安徽旌德人，先时任职于翰林院，以编修转御史，旋任工部右侍郎，兼署刑部左侍郎。李鸿章为翰林院编修时，时常为吕氏捉刀为文。一见面，李鸿章就痛陈刚刚得到的全部情况，并建议吕赶快请求清政府迅速发兵救皖。吕贤基随口说道：“还是由你来写，我负责上呈就是。”
李鸿章回到翰苑立即写了一个奏折，连夜差人送呈吕贤基。第二天，咸丰帝诏谕吕贤基从籍，与皖抚负责办理团练防剿事宜。吕贤基无奈，只好奏请朝廷让李鸿章和自己一起回籍，说是他熟悉乡情。下朝归来，他对等候他的李鸿章直言说：“你让我上奏是害我，皇上让我去安徽帮办团练；我也害你，我上奏请求你和我一同去安徽。”不过，说到底，吕贤基之所以选中李鸿章，还是因为他知晓李鸿章有才华，可以助自己一臂之力。朝廷很快应准吕贤基的请求。不久，李鸿章即跟随吕贤基回到家乡，开始了戎马生涯。
李鸿章本是书生出身，原本对团练之类的武事不感兴趣。可是皇命在身，别无选择。回到安徽之后，李鸿章首先面对的是安徽错综复杂的人际关系。官宦之间的倾轧和争斗，让一直在墨香书册和学问堆里浸泡多年的李鸿章有了很多新的体会和教训。更让李鸿章苦恼的是，组织团练指挥战役，这些都是未曾接触过的新事。虽然古代有不少投笔从戎成为一代名将的先例，但是李鸿章从来没有想过自己也会成为这样一个“以儒生而起家军旅”的典范。
李鸿章认为，办理团练防剿工作是暂时的，只是迫于大清国的目前局势而已，等到内患消除，国家安定，自己还是要回到京城的庙堂中去的。但是，如果不能胜任目前的工作，那么自己能否回到京城将是一个未知数。李鸿章对于目前究竟怎么工作，怎么实施战略计划，心里是一片空白。再则，李鸿章手中一无权、二无兵、三无饷，连究竟如何着手，也是一片茫然。尽管如此，李鸿章心中仍然充满了报效朝廷和保卫家乡的热望。
安徽也同江南其他某些阶级斗争激烈的省区一样，地主士绅纷纷举办团练，站到反对农民斗争的最前线。其中凶悍著名的有：桐城马三俊，庐江吴廷香、吴长庆（字筱轩，世袭云骑尉出身）父子，合肥张树声（字振轩，廪生）和张树珊（字海珂）兄弟、周盛波（字海舲）和周盛传（字薪如）兄弟、刘铭传（宁省三）、潘鼎新（字琴轩，举人）、解光亮、李鹤章等人。据说“庐郡团练整齐”，同远在京师的李文安有着密切关系。他基于阶级本能，“寄信回里，劝谕乡人先为恩患预防之计”。团练头子们筑圩练兵，自称圩主，所谓“寇至则相助，寇去则相攻”，有的“藉团练之名，擅作威福，甚至草菅人民，抢夺民财，焚掠村庄，无异土匪”。
抵达庐州的李鸿章，面对这样内外交讧的局面，内心的震动是可想而知的。他虽然血气方刚，有意大显身手，力挽狂澜，但怎奈自己无权、无兵、无饷，又系儒生从戎，对军事一窍不通，因而展望前途，忧心忡忡。
当时安徽政局上有三个重要人物：巡抚李嘉端，帮办团练的兵部侍郎周天爵，还有一个就是吕贤基。
李鸿章首先在周天爵处入幕。入幕是清朝当时的一个重要的官场现象。一般有地位的官僚，手中都要培养幕僚，即所谓养士。一般有学问有才干的人都有过当幕僚的经历。幕僚既是官僚的学生，也是官僚的得力助手，也就是我们今天说的“智囊团”。很多有才学的青年通过入幕的机会，对官场政治会有很深入的了解，同时，也在一些具体事务的操办中锻炼了自己的能力。所以说，入幕与养士是一件对双方都有利的事情，这也是中国的幕僚制度能够久盛不衰的缘故。
在周天爵处，消灭捻军是李鸿章的主要任务。捻军，原称捻党，起于清朝初年，由淮河两岸的穷苦老百姓组成的反抗压迫的结社。后来逐渐发展到山东、河南、苏北等地。捻军的成员复杂，有农民、渔夫、手工业者、船夫、饥民等等。他们最早做的事情就是抗粮、抗差、吃大户、劫富济贫。活动的时候，数十人或者数百人为一“捻”，各部自号为捻，各不相同。首领被称为“捻头”。本来捻党主要进行的是经济方面的斗争，并没有明确的政治纲领。但是，随着太平天国的壮大，安徽、河南等地的群众纷纷结捻响应，捻党逐渐发展成为捻军，规模和组织日益严密。所以消灭捻军也成为清政府迫在眉睫的一件大事。
李鸿章跟随周天爵参加了两次较大的消灭捻军的战役。一次是镇压定远陆遐龄起义。
陆遐龄（约1803~1853年）是定远县荒陂桥旗杆村（现属长丰县沛河乡）人，为地主家庭出身的武秀才，因受到某个案件株连被关押在安庆监狱。1853年2月，太平军首克安庆，把他从监狱中拯救出来，并派他返回定远组织群众起兵响应。约在3月上旬，陆在家乡造反，竖立“随天大王”等旗，聚众万余，打击土豪，抗击清军。据时人记载：定远知县督兵进犯，“两战两败”，而城内团练，更“事同儿戏”，甚至公然乘机渔利，“有用竹枪一支，开支公项八百文者”。是时，合肥夏村夏金书联络陆遐龄“约期大举”，南北呼应。李鹤章闻讯，立即率领团练百余人前往围捅，杀害金书父子，解散千余，“增立东北乡团防”，堵塞了陆遐龄南下的通路。接着李鸿章、李鹤章督团随同周天爵在定远荒陂桥、寿州东乡等地击败陆遐龄起义军。4月中旬，周天爵诱捕并杀害了陆遐龄父子。周天爵奏奖李鹤章六品衔。
另一次是镇压活跃于颍州、蒙城、亳州交界处的陈学曾、纪黑壮起义。据记载：
（咸丰三年三月）有巨捻陈学曾、纪黑壮等啸聚颍州之王市集，官军节次被挫，周天爵率编修李鸿章督团堵剿。5月初，安徽巡抚李嘉端行抵庐州，不久即将李鸿章从周天爵处调来，协办团练。这位新任皖抚把“靖内变而御外侮”作为首要任务。周天爵把镇压境内以捻军为主体的群众斗争叫做“靖内变”。把堵截太平军进入安徽叫做“御外侮”。其实，本地的造反群众已经搞得他们顾此失彼，疲于奔命，哪还有什么力量阻止太平军破门而入呢？就在李嘉端行抵庐州不久，太平天国先后派兵大举北伐和西征，而安徽则首当其冲。率先挺进安徽的，是以林凤祥、李开芳为首的北伐军。5月10日，北伐军占领滁州，18日，北伐军攻克临淮关，直逼凤阳。面对北伐军的凌厉攻势，李嘉端等胆战心惊，寝食难安，哀叹：“现在凤阳以南均无重兵，各城团练亦单，一无足恃。”因而一面吁请咸丰速调江西、湖北官兵赶赴庐州救应，“并堵贼回窜之路”；一面表示要“号召兵勇亲援凤阳”。他令候补直隶州知州李登洲带勇三百先行，继令户部主事王正谊于梁园镇会合李鸿章，“号召练勇，劝借军饷”，他随后带兵二百余名陆续进发。5月28日，北伐军一举攻下凤阳。刚刚带勇进至定远、凤阳交界的李登洲，忽闻凤阳失守，手下“民夫尽逃”，又怕所带合肥乡勇“思归骤散”，于是率部慌忙退却。李嘉端“一筹莫展，五内如焚”，踟蹰于护城驿。他虽然没有勇气率兵直逼凤阳，但又“不能不虚张声势”。他令王正谊、李鸿章“分谕各团首，自店埠至麻布桥排日点验练勇，使枪炮之声联络不绝。”只是由于北伐军继续北上，并没有挥师南下，李嘉端、李鸿章才得以逃脱灭顶之灾。
随后，安徽巡抚李嘉端开始指派李鸿章独立指挥军事。1853年6月，李鸿章手下已经拥有兵勇一千人。这些人都是李鸿章从地方团练和其他部队征集来的。8月，在安徽北部巢县附近，李鸿章的这支军队首次战胜了一小股太平军，使得李鸿章初博小名。为此，安徽巡抚李嘉端还专门上奏清政府，请求给予李鸿章“六品顶戴、蓝翎”的奖励。其实，当时李鸿章虽然恪守职责，但仗却是打得毫无章法。李嘉端为之请功，不过是老官僚为自己脸上贴金。
皇上的奖励并没有让清军的士气有所振作。就在李嘉端为李鸿章请功后不久，太平军大将石达开率部到达安庆，主持太平军的西征军事。石达开大军所到之处，清兵溃不成军，望风而逃。随后，石部步步进逼，直取集贤关、桐城，吕贤基所死守的舒城危在旦夕。李鸿章慌忙在合肥拼凑了几百兵勇，赶往舒城大营。眼看太平军就要打进来，吕贤基做好了以死报效皇恩的准备。看到这种情况，李鸿章很是为难，他想：自己总不能和那些士兵一样逃跑吧？可是，不跑的话自己也很难活命。在李鸿章关于逃与不逃，无法决断之际，一个叫刘斗斋的人给他解了围，劝说李鸿章快点逃跑，开始李鸿章不好意思。也许刘斗斋已经看出了李鸿章的心思，他已经把马牵出来了。这时，李鸿章索性上马连夜跑回了家。11月，就在李鸿章逃跑的第二天，太平军攻下舒城，吕贤基投水而死。次年1月，太平军攻克庐州，新任安徽巡抚江忠源也被迫投水自杀。
咸丰帝急命福济为新任安徽巡抚。福济，满洲镶白旗人，字符修，道光进士。是李鸿章考进士时的副考官。福济不懂用兵之道，所以到达安徽之后，立即召李鸿章入幕。福济对李鸿章很重用，一同商量军事大计。福济对于李鸿章的每一建议，都认真考虑。由于太平军实力雄厚，援军和粮饷不断，致使清军连连败北。福济决计不再强行攻打，而是等待太平军失去外援，弹尽粮绝，发生内乱时再伺机进攻。
1855年2月，李鸿章带兵占领含山，杀死太平军千余人，得清政府赏赐知府衔。李鸿章乘胜配合副都统忠泰攻打巢县太平军，双方僵持不下。这时他接到父亲去世的消息。1855年7月，李文安在合肥去世。李文安是1854年回到安徽带团练的。当时，安徽庐州的团练在李氏父子的带领下，整齐有序，堪称是团练的典范。李文安身体很好，喜欢喝酒。1855年7月，酒后无疾而终。李鸿章得知父亲去世的消息，悲痛万分，急忙赶回去料理丧事。就在这时，巢县的太平军发动了猛烈进攻，副都统忠泰战死沙场，全军覆没。李鸿章因不在军中而幸免于难。
李文安的死，给李鸿章以很大的思想打击，我们在李鸿章很多诗文中都可以看到他对父亲的深深想念和沉沉悼念。李鸿章对父亲的遗训铭记在心，一刻不敢懈怠。1855年11月，福济、和春等督兵勇攻陷庐州，李鸿章从战有功，受到嘉奖。其后兵分两路，西南直指舒城、三河、庐江等地；东南则进犯巢县、和州、东关等地。这次战役除了舒城小胜之外，其他各地均以失败告终。李鸿章参与的东南战事，也是一路溃败。他极为郁闷，以诗赋志——
四年牛马走风尘，浩劫茫茫剩此身。
杯酒藉浇胸磊块，枕戈试放胆轮囷，
巢湖看尽又洪湖，乐土东南此一隅。
我是无家失群雁，谁能有屋稳栖乌。
其悲凉之情，溢于言表。1856年9月，太平天国发生空前内讧。福济、和春等趁机督军打通庐州东南和西南通路。李鸿章参与了巢县、和州、东关等战役，因有功而加按察使衔。1857年2月，太平军的青年将领陈玉成和李秀成又向安徽北部发动进攻，攻克桐城、舒城等地。李鸿章部溃败，他带领母亲仓皇北逃。1857年秋，李鸿章向清政府请求为亡父丁忧守制。因为李鸿章征战有功，清政府将李鸿章交军机处记名，等到有道员缺出，给予简放。就这样，李鸿章结束了5年的团练生涯。
在李鸿章帮办团练的过程里，既有不知所措的迷茫和困惑，又有实践中的探索和积累。他虽然有“专以浪战为能”的不良记录，以及“翰林变绿林”的恶名；但是从清朝统治阶级的立场来看，他的确在为维护大清帝国的江山而苦斗不已。
在5年的“牛马走风尘”里，李鸿章逐渐懂得了一个道理：为将之道，在于洞察先机，真正做到知己知彼才能百战不殆。不能在乎一时的成败，要通观大局，万万不能逞匹夫之勇。而对自己溃败的种种经历，落魄仓皇的心情，李鸿章是深感羞愧的。这种羞愧，比起他在仕途上不尽如人意的坎坷，更深刻地刺痛着他的心。这种羞愧感并不会因为受到朝廷的几次嘉奖便能平息。
1859年1月，李鸿章投到曾国藩的门下做了一名幕僚。曾国藩和李鸿章除了早年在京城的多次会晤，一直有书信往来。当时李鸿章的哥哥李瀚章在曾国藩统率的湘军里做事，很受曾国藩的重用。
就在李鸿章帮办团练期间，曾国藩多次写信给李鸿章，直接建议他效仿湘军的成功经验，别开生面的锻炼出一支有战斗力的队伍。李鸿章的守制丁忧即将结束时，一次次盘算着出路。漫漫人生无常，冷冷官场无情！这么多年来的阅历告诉李鸿章，那无法预测的政坛风云变化和人物沉浮奖惩，说到底还是人际关系的争斗。把握好可以依靠的人，才是最为关键的。此时同是回家为父守制结束的李瀚章，被曾国藩派到江西总理粮台事务。临行，身为长子的瀚章决定带着母亲一起去南昌任上。李瀚章携母走后，太平军再破庐州。李府祖传宅院尽为太平军烧毁，家中所藏也被扫荡一空。看着残垣断壁，看着家宅被毁的痕迹，看着惊慌失措的家眷，李鸿章不禁又想起父亲“此贼不灭，何以家为”之遗训，心中蔓延着无尽的悲凄。
