宿松湘军大聚首中，胡林翼上奏咸丰，请求恩准左宗棠回长沙招募湘勇6000。其后，左宗棠回到长沙以四品京堂候补、帮办曾国藩军务的名义，召集了5000湘勇。他按照戚继光组建戚家军的建制，组建了四营四总哨。每营500人共计2000人；每总哨320人共计1280人。与此同时，王錱旧部老湘军1400人在王錱堂弟王开化的率领下到来。左宗棠又挑选了200人的亲兵共分8队，全军以王开化为总管，刘典、杨昌濬为副总管。
而这时，朝廷有意让左宗棠前往四川迎战石达开，但胡林翼坚决反对，并告诉左宗棠，湘军不能分开，如果分开就会失去相互协助的优势。因此，曾国藩和胡林翼以安徽危急为由，请求左宗棠开赴安徽。
左宗棠组建军队的时候，为了和曾国藩的区别开来，将其称为楚军。由此，左宗棠成为第一个从曾国藩湘军体系中独立出来的人。与此同时，其兵源也并非像曾国藩那样独出于湘乡，而是周边地区包括湘乡等较广区域。左宗棠认为，如果全是湘乡人，那么一遇到困难，因为来自同一地区，这些人就非常容易倦怠，其行为就高度一致。例如，老湘军的军纪就非常成问题。
其次，曾国藩喜欢用知识分子，左宗棠则认为只要能打仗，出身并不重要。王开化的队伍之所以投奔左宗棠也是因为这一点。当然，在战后势力划分的时候，左宗棠军下知识分子较少的短板，使他的势力不如李鸿章、曾国荃等人。
楚军组建后，首次出征便收复了景德镇、德兴、婺源等地。1860年10月，太平军与湘军展开安庆会战。安庆是南京的西南门户，若安庆丢失，南京门户顿开，直接威胁到首都的安危。因此，太平军为解安庆之围，分兵两路进攻。
北路由英王陈玉成率领，南路由侍王李世贤率领，11月两路大军先后包围祁门。作为湘军大本营的祁门如果丢失，那么湘军指挥中枢将领将全部束手待擒。此时祁门身处险境，祁门四周只有西南景德镇未被占领。左宗棠坐镇景德镇，对祁门进行物资、兵源供应。
