别看曾国藩这次离开长沙好像是迫不得已，但从后来的发展可以看出，这个决定是正确的，他可以排除干扰，一心练兵了。说到这里，我们必须谈谈湘军组建的来龙去脉。首先，曾国藩要选好的将领，条件是不怕死、能吃苦、有能力、不急功、少说话。在这样的标准下，塔齐布、唐训方、彭玉麟等得力干将被他招入麾下。再次就是选好的士兵，曾国藩的思路是通过血缘、地缘组织一支以亲情、友情为纽带的部队。挑士兵就简单了，不用他亲力亲为，只要是一级一级从上往下选就是了，营官选哨弁、哨弁选什长、什长选丁勇，而且谁选人谁负责，这样就形成了一级向一级负责、下级对上级的绝对服从，这为日后湘军保证了战斗力的稳定。在编制上，曾国藩仿效戚继光，以营为最基本的作战单位，每营500人，分前后左右4哨，每哨又分为8队。有劈山炮、抬枪、小枪、刀矛诸队，每队正勇12人，另有亲兵6队，共38队，每营还配备了180个长夫。这是陆军，曾国藩还建立了水师，也是仿效陆军而来，分舱长、炮手、头工等。
在部队建制完成后，下一项工作就是训练，这可是练兵的关键。不光是要训练湘勇的身体素质，还要训练阵法和命令的执行力。为此，曾国藩对训练抓得很紧，安排好具体每天的训练项目，自己每月都要亲自到场监督训练，防止训练流于形式。为了加强部队的“思想工作”，每逢三、八日，他都要对全体士兵进行训话，将自己的思想传达给士兵，让他们建立正确的人生观。
除了这些，还有一个很关键的问题，那就是“薪水”的问题。打仗可不是闹着玩的，动辄会丢了性命，不管调子说得多高，感情多深厚，没有钱说什么都是白搭。曾国藩也看到了这一点，他提出了“高薪养兵”的办法，各级士兵、军官的月饷都比绿营军高很多，甚至高出数倍。出操有“补助”、出外打仗有“津贴”，这可算是把部队的积极性给调动起来了，人们争相参加湘军。不过军饷的增多成了一直困扰曾国藩的大问题，让他费尽心血、挨遍白眼。
但无论如何，湘军还是很快地建立起来了，到了咸丰四年（1854年）正月，湘军正式成立，陆师5000人、水师5000人，再加上其他后勤人员，湘军全军共一万七千人，闻名遐迩的湘军出现在了历史舞台上。
