曾國藩在太平軍興起、清庭危機四伏之際，以在籍侍郎的身份，儒生帶兵，回家鄉湖南編練湘軍，制定兵制，自籌軍響。終於練出了一支震驚天下的湘軍，打敗了太平軍，成就了清朝的中興大局。湘軍中走出的封疆大吏均視曾為領袖，而湘軍，清政府指揮不動，得國藩一紙，千里赴急。而胡林翼和曾國藩感情最深，對湘軍的創立貢獻最大。湘軍初創，無根無響，籌軍響是最大問題，曾國藩受猜忌，清政府始終不授實權。胡林翼卻先於曾而得湖北巡撫的實職，胡既會做官又會做人，利用感情拿下了湖廣總督官文，湖北的事自己說了算，盡全省之力支援湘軍，極大減輕了曾國藩的壓力。曾胡二人為湘軍的行動共謀劃，相互支援，湘軍內部各將領之間產生的矛盾，胡林翼以情動之，予以化解，增強凝聚力，使湘軍成為一支能徵貫戰的隊伍。所以說胡林翼對湘軍的貢獻僅次於曾國藩。

是的，如果說曾國藩是湘軍之嚴父，那麼，胡林翼就是湘軍之慈母。或者換個說話，如果說曾國藩是湘軍中的“毛澤東”，那麼他就是“周恩來”。

胡林翼認為，湘軍事業能否成功，關鍵在於內部是否和諧：“事之成敗，不爭賊之強弱多寡，而在我輩之和與不和。”因此他一直有意識地充分發揮自己在整個湘系集團中的聯絡人、調解者的作用。

各個領域凡才能出眾者，多有恃才傲物、互不相下的毛病。“名業相侔、勢位相埒之人”，很難處得好。因此一個集團內部，出現矛盾和爭執是非常常見的。

他曾經協調過曾國藩和左宗棠之間的關係，在湘軍系統中其他人發生矛盾之時，胡林翼也憑著他出眾的情商，有效地發揮著潤滑劑、粘結劑的作用。

比如湘軍水師將領楊嶽斌、彭玉麟名位相當，分掌長江和內湖水師，曾經一起出援湖北。剛到湖北之時，二人關係不和，“往往違言”，甚至鬧到彼此反目的地步。

胡林翼為了解決這個問題，分別寫信邀請二人前來商量軍情。楊嶽斌捷足先至，賓主握手言歡，不久彭玉麟也駕到，楊嶽斌一見便起身要走，胡林翼強行將他摁在座位上，彭一見這情形，也打算掉頭而去，胡林翼又起身強行拉住，將他也摁在座位上。彭、楊二人相對無語，情形很是尷尬。胡林翼於是令手下設席開宴：

當時水師二大將彭玉麟、楊載福不和，胡知之，置酒勸和，二人未為所動，胡則跪而請曰：“天下糜爛至此，實賴公等協力支撐，公等今自生隙，又何能佐治中興之業耶！”因泣下沾襟。於是彭楊二人，皆相呼曰：“吾輩負宮保矣！如再有參差，上無以對皇上，下無以對宮保。”遂和好如初。

也就是說，胡林翼酌酒三鬥，楊彭二人一人一斗，自己則捧一斗，跪在二人中間說：現在天下糜爛到這等地步，全賴各位和衷共濟，支撐危局；你們兩人如今先鬧彆扭，又如何佐助中興大業？說完，泣下沾襟。彭玉麟和楊嶽斌大為感動，趕緊扶起胡氏，向他謝罪，從此遂捐棄前嫌，和衷共濟。

曾國藩後來在臚陳胡林翼功績時，曾說過這樣一段話：

大凡良將相聚則意見紛歧，或道義自高而不免氣矜之過，或功能自負，而不免器識之偏，一言不捨，動成水火。……外省盛傳楚師協和，親如骨肉，而於胡林翼之苦心調護，或不盡知。

可見胡林翼維繫眾將，確實費盡心力。所以曾國藩和左宗棠都一致認為他一生“赤心以憂國家，小心以事友生，苦心以護諸將”。

所以單位內部的團結非常重要，一個團隊，非常需要一個胡林翼這樣的人，這樣的二把手。一把手的主要任務是決策，二把手可能主要就是協調。