李鴻章一怒之下憤然離開(kāi)曾國(guó)藩幕府，回到南昌他哥哥家中閑住了一年之久。此事使曾國(guó)藩大為惱火，認(rèn)為李鴻章不明大義，不達(dá)事理，在自己困難時(shí)借故離去，得出“此君難與共患難”之結(jié)論。此事也使李鴻章憤怒異常，他對(duì)人說(shuō)自己原認(rèn)為曾國(guó)藩為豪杰之士，能容納不同意見(jiàn)、各種人物，“今乃知非也”。

李鴻章回到老家之后，因?yàn)榫謩?shì)惡劣，他發(fā)現(xiàn)自己竟然走投無(wú)路了。他想去福建補(bǔ)缺，可是他在福建的朋友沈葆楨勸他不要去，說(shuō)福建政事“糜爛”。李鴻章走后，曾、李二人并沒(méi)有中斷友情，仍有書(shū)信往來(lái)。胡林翼在二人之間做了很多調(diào)解的工作。而且，曾國(guó)藩切實(shí)地感到身邊少了李鴻章，猶如少了左膀右臂，不禁又想起李鴻章的種種好處來(lái)。特別是祁門(mén)果然遇到了大麻煩。太平軍占領(lǐng)徽州之后，忠王李秀成直逼祁門(mén)。曾國(guó)藩猶如甕中之鱉，他寫(xiě)好了遺書(shū)，準(zhǔn)備一死了之。所幸李秀成沒(méi)有進(jìn)攻祁門(mén)，曾國(guó)藩才幸免于難，所部也不得不撤離祁門(mén)。此外，身為曾、李二人好友的郭嵩燾聞知李鴻章出走，給李鴻章寫(xiě)信說(shuō)：當(dāng)今之下，能依靠個(gè)人力量崛起是非常艱難的，只有依靠可以信賴的人。你應(yīng)當(dāng)心胸寬闊，以功名為重，還是重新回到曾國(guó)藩身邊為好。

李鴻章本來(lái)就很后悔自己的負(fù)氣行為，看到好友如此勸說(shuō)，不覺(jué)感嘆郭嵩燾的遠(yuǎn)見(jiàn)卓識(shí)。在李鴻章成為顯赫的大人物之后，唯有和郭嵩燾之間的友情最是真正的“君子之交”。郭嵩燾沒(méi)有派系成見(jiàn)，獨(dú)往獨(dú)來(lái)，眼光深遠(yuǎn)，“能言他人所不能、所不敢、所不知之言”。一身兼具新學(xué)和舊學(xué)的兩大本領(lǐng)，卻長(zhǎng)期背負(fù)著“獨(dú)醒之累”，猶如楚大夫屈原，很難得到世人的理解和認(rèn)識(shí)，是一個(gè)孤獨(dú)的前行者。

此時(shí)，曾國(guó)藩也給李鴻章寫(xiě)信，懇切邀請(qǐng)他回來(lái)。1861年7月，李鴻章又回到曾國(guó)藩的大營(yíng)，二人又開(kāi)始了密切的合作。

從此以后，李鴻章忠心師事曾國(guó)藩，在老師的言傳身教下，在個(gè)人修養(yǎng)及政治上都得到了曾國(guó)藩的著意栽培和極盡熏陶。