胡林翼和左宗棠之间的关系集合了世交、同学（同为贺熙龄的学生）、朋友、姻亲、精神同盟者五种关系。胡林翼对于左宗棠尊敬有加，特别是左宗棠成了他的长辈之后，经常以长辈相称，但左宗棠却严厉禁止儿女以平辈对待胡林翼，必须称其为先生。
左家与胡家也是姻亲关系。1856年胡林翼的妹妹胡同芝嫁给了左宗棠的二哥左宗植的长子，胡林翼称呼左宗棠为“丈”并不过分，但从朋友关系上讲，左宗棠一直称呼其为“兄”也属正常。
胡林翼不但在仕途上给左宗棠以帮助，在生活上也屡次接济左宗棠，更在为官之道上提点左宗棠。然而，由于两人出身、经历和性格等方面的不同，左宗棠并没有成为胡林翼希望成为的人。但也许正是因为这一点，在胡林翼眼中的左宗棠才是一位勇于开创、敢为天下先的人。正是这些原因，胡林翼才尽力拉拢左宗棠成为铁三角中的一级，更将其推上了核心的地位。
在左宗棠成为幕府师爷的那段日子里，湘军其实已经形成了铁三角。左宗棠作为湘军的大后方，负责粮草的运筹、兵源的供给、坐镇湖南大本营，居后左右相助，两翼分别是胡林翼在湖北、曾国藩在江西。随着樊左互控之后，左宗棠脱离幕府，帮助曾国藩筹建湘军之日起，胡林翼便在其后筹划左宗棠势力的发展。
铁三角之所以诞生，其第一功劳就是胡林翼。左宗棠在1860年2月因为樊左互控准备前往北京参加会考，半路被胡林翼派人拦截，将其送到曾国藩的驻地宿松军营。5月胡林翼也赶来。湘军诸统帅首次聚首，探讨湘军未来发展。此时的湘军分为四大势力：曾国藩的湘军、罗泽南（1807-1856）学生王鑫等人的老湘军、胡林翼的鄂军、湖南留守部队。当时左宗棠还没有自己的嫡系部队。
从广泛意义上说，江忠源（1812-1854）的楚勇、老湘军以及左宗棠日后创立的嫡系部队楚军，都可以被称为湘军。楚勇被视做湘军的雏形，老湘军则是罗泽南战死后，其学生部分跟随曾国藩，部分则脱离曾国藩自成系统，王鑫、刘松山等人的队伍便自称老湘军。
