清朝的八旗兵和綠營兵已經腐化,紀律敗壞,貪生怕死,無法有效對抗太平軍。太平軍僅靠一兩萬人便迅速北上,清朝官兵只會追趕而不敢交鋒,甚至趁機掠奪百姓。
咸豐皇帝意識到清朝官吏和軍隊無法有效壓制太平軍,軍機大臣文慶建議「以漢人制漢人」,得到採納,從而讓有才幹的漢人官員逐漸掌握地方軍政實權。
曾國藩為人樸實正派,辦事能幹,得到軍機大臣穆彰阿賞識,並在十年內連升十級。他在湖南興辦團練成效最大,得到同鄉士紳支持,逐步掌握地方軍政實權。
曾國藩在湖南各縣招募性格敦厚純樸的農民子弟,加以訓練並灌輸道德禮教觀念,強調紀律精神。湘軍將領多為響應其號召的士大夫,經費主要靠地方士紳捐助。
曾國藩指揮湘軍水師進攻九江,被太平天國翼王石達開擊敗,水師幾乎全軍覆沒,退入鄱陽湖後失去作戰能力,這是他有生以來最大的挫折。
曾國藩改組湘軍,委派彭玉麟統領長江上的殘餘戰船,胡林翼統領步兵援助武昌,塔齊布監視九江,自己則坐鎮南昌等待時機,試圖重整旗鼓。