五十四岁那年，曾国藩宣布退出江湖纷争。
此时曾国藩位高权重，哪怕是打个喷嚏，都会引发朝野震动。所以他的退出，自然也不同于常人，照样是引发一轮权力波荡。
第一步：奏请停解部分厘金，就是放弃手中收过路费的权力。
所谓厘金这怪东西，是咸丰三年时一个叫钱江的师爷创造的。因为朝廷要练兵对抗洪秀全的太平军，却没有费用，钱江开创性地推出向老百姓征收过路费，于路上建立关卡，此路是你开，此树是你栽，我堵你家门，收费发大财。钱江的这手明显是黑社会老大的绝活，立即被朝廷采用，风靡大江南北。骆秉章、胡林翼、曾国藩等人纷纷学了这个办法，到处设卡堵路，截道收费，聚敛了练兵的第一桶金。
就为了这笔过路费，曾国藩和许多人都翻了脸，最典型的是沈葆桢，两人曾为了江西的厘捐，吵得脸红脖子粗。现在曾国藩削利权，头一桩先把江西的厘捐抽取及军饷发放，全部塞给沈葆桢。
第二步，裁撤部分湘勇。
利权而后是兵权，这是重中之重。朝廷疑忌曾国藩，世人均认为曾国藩有可能造反，原因就是他手里握有兵权。现在他把自己手中的兵权主动削掉，大家自然无话可说。
说到裁撤湘军，这恐怕是曾国藩最渴望最渴望的事情。从他为母亲治丧归乡、接到朝廷之命出山办团练之前，他就对此充满了厌恶，一味地回避搪塞。他只是个饱读二十三史、希望抱着小女生吟风弄月的书生，率领虎狼之师上战场打群架，这事可不是他的特长。但大时代无可争议地把他推上了顶峰，他没办法，也只好在顶峰上郁闷地呆坐。但对于湘军所流露出的暴力因子，他却是切齿痛恨。
湘军与太平军在暴力的属性上是没有区别的——如果有区别，湘军也就无法消灭太平军。湘军必须要比太平军更暴力，才有可能战胜太平军。而这就意味着，二者在残暴上是没有区别的，甚至湘军会更残暴。
在曾国藩的日记中，记载了几桩湘军犯下的残忍罪行：
咸丰十年三月二十七日，是日，节字营勇伤杀人又打伤县官。是日，节字营勇闹事，杀一人，枷二人。因一人买帽子，讹夺店子之帽，又打店家之眼，又纠众入县署打破轿子，打伤县官也。近日，节字营名声甚坏，俟九弟到，当商换营官。
曾国藩日记中提及的节字营，是隶属于曾国藩的吉字大营的，湘军将领萧孚泗、朱洪章先后出任过该营营官。萧孚泗是天京破城之后劫掠最严重的。而朱洪章则是打头阵的。有记载称，天京城破之后，朱洪章虽然率先攻入城中，但萧孚泗却因为俘获了李秀成，夺得头功。朱洪章不服，去找曾国荃理论，曾国荃解佩刀交给朱洪章，说：“论功之事，是我大哥帐下幕僚李鸿裔排的，他居然把你排在萧孚泗之后，真是太不像话了，你拿着我的刀，去杀了李鸿裔！”朱洪章听了，翻翻白眼，哈哈大笑，遇到这种赖皮老板，只能自认倒霉。
曾国荃耍赖皮，那是因为他也没法子摆平这个节字营，可知此营之难缠，那是从基因里带来的暴力元素。当年曾国藩初练湘军，就曾被提标兵打烂轿子，还差点要了他的命。现在曾国藩的兵练成了，就该轮到别人倒霉了。所以湘勇讹夺帽子，打伤县官，这不过是湘军的暴力属性使然，如果把这个属性取消，湘军就不复为军事武装，变成书院了。
而书院是无力与洪秀全对抗的，这就是曾国藩驭虎伏狼，无奈的选择。
同治三年五月十七日，曾国藩日记：“闻熊礼元之子与妇在江中为游勇所杀。杀数人，抢去银物而凿沉其船以灭迹。游勇之凶悍如此，可畏也。”
这时候的湘军已经失去控制了，江心杀人，毁船灭迹。而攻破天京城后，湘军大营中藏满了劫掠来的妇女，这时候如果不速速裁撤，势必倒噬其主，酿成大祸。
而且这时候裁撤湘军也容易，湘勇们抢得盆满钵满，正等着领取路费回家呢。曾国藩放开手脚，立下狠手，一口气将湘军裁得只剩老湘营六千余人。
第三步：把亲弟弟曾国荃打发回家，让他退休养老。
曾国藩首先裁掉曾国荃，那是他真心替曾国荃着想。打下天京，这功劳太大，曾国荃已经成为国人之大敌，人人都想在他身上找出点毛病，以宣泄心中的嫉恨之火。偏偏曾国荃这厮还真是一身的毛病，所以对他来说，最好不过的法子，就是立即销声匿迹，躲回老家过土财主的日子，等过段时间，再出来招摇过市。
而且，曾国藩认为曾国荃是应该知道他的苦心的，此前，他一再告诫曾国荃：“万一金陵克复，拟引退，避贤者路，非爱惜微名，而求自全也。”
话说得好好，可等到真要曾国荃回家时，曾国荃却不干了，竟然在大庭广众之下冲着曾国藩发起飙来，大吼大叫，大吵大闹，让曾国藩极是尴尬。
曾国藩无奈，在曾国荃四十一岁生日的当天，派了赵烈文前去慰问，慰问品就是曾国藩亲写的十二首诗，其中有一首曰：“河山策命冠时髦，鲁卫同封异数叨。刮骨箭瘢天鉴否，可怜叔子独贤劳。”有记载称，曾国荃读到这首诗的后两句，竟号啕大哭，以泄胸中抑郁之气。
曾国荃真的生气了，他悲愤地回到老家，大病了一场。不久，慈禧召他入京，想瞧瞧他长的是什么模样，被他断然拒绝。而后朝廷又授予他山西巡抚，他拒绝赴任，幸好这个朝廷脸皮巨厚，曾国荃如此不给面子，朝廷却非要安慰他不可，同治五年又调任他为湖北巡抚，曾国荃这才不服不忿地去上任。