咸丰二年年底，曾国藩风尘仆仆地赶到了长沙。当时张亮基已经招募了部分湘勇，而且湖南各地自行招募的湘勇也陆续集中到长沙。这些地方武装中有一个人带领的队伍不得不提，这人就是罗泽南。罗泽南，字仲岳，号罗山，和曾国藩是同乡。此人是当时湖南屈指可数的人物，是一位理学大家。他和曾国藩是儿女亲家，曾中藩的弟弟曾国华、曾国荃都是罗泽南的学生，罗泽南的学生遍布湖南，他的威望使不少学生投入曾国藩门下成为湘军的骨干，如李续宾、李续宜等人。而罗泽南的作用既是为湘军打下了良好的前期组建的基础，又为后来湘军的发展做出了重要贡献。
在建设湘军的最初阶段，罗泽南带来的千余名湘勇成为湘军最早的班底，也是曾国藩最为倚仗的“嫡系”。怎么建立一支训练有素的军队是摆在曾国藩面前的一个难题。对此曾国藩早就胸有成竹，别忘了他在兵部干过侍郎，对于八旗、绿营的种种弊端十分清楚。对挑选士兵他有自己的标准，就是那些在深山里的农民兄弟们。
这些人朴实本分，说得难听一些就是有点儿傻，但就是这种“傻”，对血亲的认同感很强，为了自己的同乡可以牺牲生命。这就把曾国藩认为军队最大的弊病—“败不相救”解决了。而有三类人，曾国藩是绝不会用的。一是逃兵，二是街头的小混混，三是曾经为官府做事的人。曾国藩认为这三类人油滑有余、诚实不足。在这样的指导思想下，湘军成立之初就严格抓住了士兵成分这个关键，奠定了以亲情、友情、乡情为核心的军队基础，得以成为战斗力惊人的湘军。
在组建部队的同时，曾国藩对整个湖南的形势有了一个比较清晰的认识。太平军此时已通过湖南向长江下游挺进，湖南暂时还是安全的，去主动找太平军的事儿，那是不可能的，办团练的主要目的是自保。湖南是个多会党的地方，因为山多河密，所以造成了反清势力遍布湖南，比如说天地会、串子会、红黑会等。在太平军袭击湖南期间，很大一部分的会党人员加入了太平军，跟随他们东进。曾国藩现在的想法就是先稳定湖南的局面，想稳定局面就要从解决这些不安分的人下手，可这些人并不好对付，如果好对付早就解决了。
