与太平军的势如破竹相反，清军一触即溃，接连丢失重要城池，大有土崩瓦解之势。这一年年底，太平军以地雷轰塌武昌城墙，遂克武昌。这是太平军攻下的第一座省城，举国为之震动。眼看江南半壁江山换了颜色，咸丰皇帝气急败坏。虽然他早就知道八旗兵与绿营兵软弱涣散，但没想到竟如此不堪一击。前方局势的急转直下，促使清廷高层不得不寻找另外的救急之策，这就是令各省在籍的大臣举办团练，自卫桑梓。
咸丰皇帝让曾国藩留乡办团练既有一般性又有他特殊的背景。
此时，太平军势力浩大，清军无力对抗，清政府下令地方官举办团练，尤其命令回籍的官员为团练大臣，利用人地两熟，在地方又有号召力的官员组织地方武装，对抗太平军。如：1852年9月，任命刑部尚书陈孚恩为江西团练大臣；1853年2月，任命在家养病的广西巡抚周天爵为安徽团练大臣；不久，又命工部侍郎吕贤基办团练。仅仅1853年3月到4月，就先后任命四十五人为团练大臣，仅山东一省就有十三人，曾国藩也是在这时被任命为湖南团练大臣的。
咸丰二年十一月末，咸丰在给湖南巡抚张亮基的谕中说：
丁忧侍郎曾国藩，籍隶湘乡。于湖南地方人情，自必熟悉。著该抚传旨令其帮同办理本省团练，搜查土匪事宜，必尽心不负委任。
中国封建社会历来讲究“以孝治天下”，清代更有明文规定，无论多高职务的官员，父母死了必须离职守制。如果朝廷特别需要这位官吏，必须发特诏命其不必去职，以素服办公，不参加吉礼；或于守制尚未期满之时，即令复职，这种制度称为“夺情”。
考虑到了种种难处之后，他便一边写信拒绝了张亮基的邀请；一边写折子，让张亮基代发，辞谢皇帝的圣意，并请求在籍守制三年。
没想到，就在这个时候，太平军攻克了武汉，很快就要反攻湖南。这使得刚坐到湖南巡抚宝座上屁股还没热的张亮基急得像热锅上的蚂蚁，立马命郭嵩焘连夜赶往曾家，劝说曾国藩出山。
恰巧在这一天，好友郭嵩焘赶到湘乡为曾母吊唁。县令朱孙诒清楚郭与曾的关系非常，故不敢怠慢，立即传官轿送郭嵩焘前往曾家。120里的路，郭嵩焘赶到曾家时已是深夜。两人秉烛畅叙，当谈及时事时，曾国藩说自己要守制，不能出来主持团练。郭嵩焘说，素知曾国藩野心勃勃，以整治封建秩序为己任，现在面临“乱世出英雄”的机会，你为什么不大大施展抱负，尽忠皇帝呢？郭又拿出“古已有之”的例子来说服曾国藩，情真意切，不可言表，给标榜“忠孝”的曾国藩一个很好的台阶下，但曾国藩为了表示尽孝的“决心”，仍表示不同意。郭嵩焘又反复与曾国藩的父亲谈“保卫家乡”的大道理，曾父认为讲得对，便把曾国藩叫到面前教训了一番。曾国藩这才应允。但多日不见起行。郭嵩焘又同他的弟弟郭昆焘一同前往曾家劝说，但曾国藩却以郭氏兄弟入幕参赞其事为先决条件，郭嵩焘只好答应。此后四年，郭嵩焘大部分时间都在曾国藩幕府中度过，成为湘军初创、曾国藩“大业”初起时的主要人物之一。
