中國傳統時代有一句俗語，“好男不當兵，好鐵不打釘”，當兵的大部分都是地方上的地痞流氓，或者遊手好閒之人。

良民有職業者，皆不肯應募。其應募者，皆遊手浮滑之徒，無事則坐領工食，有事則聞風潰散；一有徵戰，見賊則退，擾民則勇往。

曾國藩在這一點上是反其道而行之，招收兵員，有一個原則，絕對不收當過兵的人，不收退伍軍人。

不雜一卒，不濫收一弁。

綠營兵兵源不好，曾國藩擔心那些綠營兵把綠營的習氣帶到湘軍中來。所以他招募的人以“年輕力壯、樸實而有農夫土氣者為上。其油頭滑面，有市井氣者，有衙門氣者，概不收用”。

主要收純樸的農民，而且是山農。因為中國有句古話，近山者仁，近水者智。

山僻之民多獷悍，水鄉之民多浮滑，城市多遊惰之習，鄉村多樸拙之夫，故善用兵者，嘗好用山鄉之卒，而不好用城市、近水之人。

所以曾國藩在選擇人員上，很有特點。這些人組成了一支軍隊後，軍風軍貌與綠營兵自然是完全不同的：

勇丁帕首短衣，樸誠耐苦，但講實際，不事虛文。營規只有數條，此外別無文告，管轄只論差事，不甚計較官階。而挖濠築壘，刻日而告成，運米搬柴，崇朝而集事。

就是說，湘軍軍人穿得很樸素，一個個都能吃苦，只講實際，不講那些虛頭巴腦的程式。軍營的規定也很簡單，軍官們也不太在乎級別差別，只看誰負責哪一攤事。如果要紮營，當天馬上就能完全。要運米運糧，也比別的軍隊做的快得多。

曾國藩後來就是靠這樣一支軍隊，成了大事。