咸丰五年，太平军攻占了武昌，胡林翼与太平军展开了持久的拉锯攻坚战。曾国藩在江西与太平军角逐，爱将塔齐布和萧捷三先后阵亡。罗泽南又率五千兵力增援湖北，曾国藩身边的兵力继续削弱，只有少数驻扎在九江和湖口城外，作为进攻的象征。
此年十月份，广东的造反军杀入江西的吉安，赣西警报频传。不久，石达开从湖北东南角的崇阳和通城等处集结部队，杀入江西境内，攻占新昌县。广东造反军连陷安福、分宜、万载等县，与石达开会师。赣水之畔掀起了民众造反的高潮，造反军多达十几万。瑞州、临江、袁州、吉安同时告警。曾国藩不得不把湖口的驻军撤到西路增援。但是太平军接连攻克瑞州、临江、袁州三府，直接威胁南昌。曾国藩又不得不把九江城外的部队调回南昌，并调内湖水师防守省河。湘军在江西从象征性的进攻，转为对省城的防御。
咸丰六年（1856），江西的战局对曾国藩更为不利。太平军攻陷吉安，主力东进，占领乐安，攻打抚州和建昌。湘军陆师在樟树大营大败，溃勇逃回南昌，人心大震，许多人夺门逃走，无法禁止，军民互相踩踏。曾国藩飞调青山陆营增援南昌，令水师撤退到吴城镇驻扎，调李元度所部从饶州绕回，进攻抚州。同时收集溃勇，筹备守御，抚慰居民，人心稍安。
江西的局势到了最危急的时候。官军与太平军调换了主客之位，太平军公开活动，官军的活动被迫转入地下。从鄂州以南，直到梅岭，太平军的势力绵亘一千多里，兵力号称数十万。江西、湖北两地湘军的通讯联络，只能由特务扮成平民，携带裹藏情报的蜡丸，秘密从小路来往，多数被太平军盘获截杀，地下工作开展得十分艰难。
在这种情况下，湖南派出了以刘长佑和萧启江为首的八千部队增援曾国藩。他们攻打萍乡与万载，然后招募死士，怀揣信函，从小路进入，好不容易才将消息告知曾国藩。
湖南援赣军并没有立刻改善曾国藩的处境，江西的郡县不断落入太平军手中。在南康、建昌等府失陷后，太平军已占据八座府城和五十多座州城、县城，并且分兵南扑赣州，东攻广信。官军的文报往来，饷需转运，只有广信和饶州一路可通，但也时常遭到太平军袭击。
三月份，湘军大将罗泽南在攻打武昌的战斗中负伤，不久去世。湘军英才接连丧失，曾国藩原指望罗泽南回援江西，这下希望落空了。但他极力保持镇定，收集陆军，加以整训，每天巡视操场，然后住宿军营。他还吟写《陆师得胜歌》、《水师得胜歌》，教导军士，用乐观主义精神稳定军心。
六月份，曾国藩的弟弟曾国华带领一支人数不多的援军，从湖北进抵江西境内，连克新昌和上高，直抵瑞州城外。曾国藩连忙派出四千兵力前往瑞州迎接。到这时为止，南昌与外界的联系才慢慢恢复。
但是太平军又改变了策略。他们在吉安、袁州、瑞州、临江各处制造战船和攻城器械，乘夏天涨水，大举向南昌开进，在瑞河口、临河口、生米司等处大修营垒。于是南昌周边发生了激烈的战争。
曾国藩的另一个弟弟曾国荃也看出大哥身处凶险之地，领兵来到江西增援。十一月中旬，他攻克安福县城，进攻吉安。尽管曾国藩得到来自湖南、福建和湖北的几路增援，景况已有所改善，但是江西八府之中，只有南康太平军不多，其余府城都有太平军的几千名精锐驻守，江西仍然在太平军掌握之中。
