1859年1月13日，李鸿章投奔在江西建昌的曾国藩，开始为曾效力。
说起李鸿章和曾国藩的师生渊源，还真是有些年头了。当年李鸿章的哥哥李翰章参加科举考试时，就成为了曾国藩的门生，1858年还是曾国藩帮他安排的工作。李翰章向曾老师汇报工作时，经常夸奖自己的弟弟李鸿章，使曾国藩对李鸿章建立了非常好的印象，认为他是能成大业的“伟器”。
当李鸿章成为曾幕府一员后，仗着自己的才气，常常搞特殊化。比如早晨曾国藩查营后总是要和幕僚们一起吃早饭，但是李鸿章比较贪睡，对这种严格的军营生活很不适应，总是谎称生病睡懒觉。一次曾国藩抓住他这个小辫子不放，非要等他起来大家才能吃饭，随后很严厉地教训李鸿章一番。李鸿章从此开始注意自己的作风纪律养成，“每日起居饮食均有常度”，这些细节养成为其以后成为淮军统帅打下了良好的作风基础。另外，曾国藩经常让李鸿章参与湘军重要活动的讨论，把他与幄下的大员如胡林翼、左宗棠等等同看待，安排李鸿章与这些非凡之辈一起谈论事情，挫挫李鸿章的锐气，同时也让李鸿章长长见识。
刚到建昌没多久，曾国藩就委派李鸿章主持增练皖北马队，因为作战对手太平军和捻军的骑兵又多又剽悍，湘军在实战中由于没有马队配合，吃了不少亏。可惜的是两淮的地方绅士没有这种作战意识，出于自保而百般阻碍招勇，使得组建马队的计划付诸东流。随后，李鸿章被派到曾国荃军营帮助工作，时间是两个月左右，其间参与了一次攻陷景德镇的战斗。
在辅助曾国藩过程中，李鸿章提出了不少建军、作战的好点子。他建议曾老师兴办水师，这样既可以保护淮扬饷地，又可以力图进军下游，但遗憾的是由于种种客观原因，李鸿章没能全面参与淮扬水师的建立。在曾老师面临“北上勤王”和对抗太平军的两难境地时，李鸿章从战略形势的高度，准确预测了英法联军的进攻结果是“金帛议和”，主张消极“勤王”，积极对抗太平军。
李鸿章比一般幕僚杰出的地方在于他敢于坚持自己的判断，并且不怕与曾老师发生分歧。当曾国藩攻下安庆，决定移师祁门时，李鸿章从作战地理环境角度分析，认为祁门是兵家所忌讳的死角、绝地，不适合大军驻扎，并坚持自己的意见不妥协，使老师颇没面子，下不了台。
李鸿章给曾国藩湘军当参谋的这些年里，他始终处于颠沛流离状态，38岁还没得到个像样的功名，但通过近距离观察湘军，参与作战决策，进行军事战略研判，他锻炼了自己的能力和气量，这对于他日后独当大任起了极大的作用。
