李鸿章一怒之下愤然离开曾国藩幕府，回到南昌他哥哥家中闲住了一年之久。此事使曾国藩大为恼火，认为李鸿章不明大义，不达事理，在自己困难时借故离去，得出“此君难与共患难”之结论。此事也使李鸿章愤怒异常，他对人说自己原认为曾国藩为豪杰之士，能容纳不同意见、各种人物，“今乃知非也”。
李鸿章回到老家之后，因为局势恶劣，他发现自己竟然走投无路了。他想去福建补缺，可是他在福建的朋友沈葆桢劝他不要去，说福建政事“糜烂”。李鸿章走后，曾、李二人并没有中断友情，仍有书信往来。胡林翼在二人之间做了很多调解的工作。而且，曾国藩切实地感到身边少了李鸿章，犹如少了左膀右臂，不禁又想起李鸿章的种种好处来。特别是祁门果然遇到了大麻烦。太平军占领徽州之后，忠王李秀成直逼祁门。曾国藩犹如瓮中之鳖，他写好了遗书，准备一死了之。所幸李秀成没有进攻祁门，曾国藩才幸免于难，所部也不得不撤离祁门。此外，身为曾、李二人好友的郭嵩焘闻知李鸿章出走，给李鸿章写信说：当今之下，能依靠个人力量崛起是非常艰难的，只有依靠可以信赖的人。你应当心胸宽阔，以功名为重，还是重新回到曾国藩身边为好。
李鸿章本来就很后悔自己的负气行为，看到好友如此劝说，不觉感叹郭嵩焘的远见卓识。在李鸿章成为显赫的大人物之后，唯有和郭嵩焘之间的友情最是真正的“君子之交”。郭嵩焘没有派系成见，独往独来，眼光深远，“能言他人所不能、所不敢、所不知之言”。一身兼具新学和旧学的两大本领，却长期背负着“独醒之累”，犹如楚大夫屈原，很难得到世人的理解和认识，是一个孤独的前行者。
此时，曾国藩也给李鸿章写信，恳切邀请他回来。1861年7月，李鸿章又回到曾国藩的大营，二人又开始了密切的合作。
从此以后，李鸿章忠心师事曾国藩，在老师的言传身教下，在个人修养及政治上都得到了曾国藩的着意栽培和极尽熏陶。
