曾国藩以为，仁和义是“主人之道”，“仆之所志，其大者盖欲行仁义于天下”。那把推行仁义作为自己终生的奋斗目标。“仁”字之功，于个人，内化可为圣贤，外施则为豪杰。
曾国藩一面在肃清湖南境内民众的反抗，一面又扩充他的部队而成为湘军。对于练兵、带兵，他本是十足的外行，可是他凭着读书、修养的一套“明理”功夫，竟把一支地主武装练就出来。曾国藩首先提出治兵的理论说：
带勇之法，用恩莫如用仁，用威莫如用礼。仁者即所谓欲立立人，欲达达人也。待弁勇如待子弟之心，常望其成立，望其发达，则人知恩矣！礼者即所谓无众寡、无大小、无敢慢、泰而不骄也。正其衣冠，尊其瞻视，俨然人望而畏之，威而不猛也。持之以敬，临之以庄，无形无声之际，常有懔然难犯之象，则人知威矣！守斯二者，虽蛮貊之邦行矣，何保勇之不可治哉？
曾国藩就募兵求将时，他所要求的兵是：
募格须择技艺烂熟，年轻力壮，朴实而有农夫气者为上；其油头滑面而有市井气者，有衙门气者，概不收用。
他在上皇帝奏疏中也曾说过：
山僻之民多犷悍，水乡之民多浮滑，城市多游惰之习，乡村多朴拙之夫，善用兵者，常好用山乡之卒，而不好用城市近水之人。
所以曾国藩在初募湘军时，每天坐在招募处，看到黑脚杆而又不好说话的乡下人，便连声说“好、好”，表示可以选上；如果看到近城市的人，或好说话的人，则“唔、唔”两下，表示不可选上。因此湘军士兵，几无一不是黑脚杆的农民。这些朴实的农民，既能吃苦耐劳，又能忠勇，一上战场，则父死子代，兄仆弟继，义无反顾。有兵如此，怎么会不打胜仗呢？
选兵如此，曾国藩对于带兵官的选择，自然是更加慎重了。他选将的标准有四：
带勇之人第一要才堪治民；第二要不怕死；第三要不急急名利；第四要耐受辛苦。四者似过于求备，而苟缺其一，则万不可以带勇。带勇须智深勇沉之士，文经武纬之才！
另方面，曾国藩还有一个选将标准，就是不用喜欢爱说话的人。他说：
将领之浮滑者，一遇危险之际，其神情之飞动，足以摇动军心，其言语之圆滑，足以淆乱是非，故湘军历来不喜善说话之将。
在训练上，曾国藩仿戚继光治兵成法，逐日训练，阵法技击，无不演习。至少操练两个月。凡体弱者，艺低者，油滑者，都陆续淘汰。最重要的还是精神训练。曾国藩说：
“恐民心一去，不可挽回，誓欲练成一旅，秋毫无犯，以挽民心而塞民口，每逢三八操演，集诸勇而教之，反复开说至千百语，但令其无扰百姓。自四月以后，间令塔将传唤营官，一同操演，亦不过令弁委前来，听我教语。每次与诸弁兵讲说至一时数刻之久，虽不敢云说法点顽石之头，亦诚欲以苦口滴杜鹃之血。练者其名，训者其实，听者甚逸，讲者甚劳。今各弁固在，具有天良，可复按而一一询也。国藩之为此，益欲感动一二，冀其不扰百姓，以雪兵勇不如贼匪之耻，而稍变武弁漫无纪律之态。”（《与张石卿制军书》）
苦口滴杜鹃之血，以训导队伍这种精神训练的人，慢慢就成为有主义的军队了。
曾国藩选择营官非常注意他的精神品行。他说：
欲练乡勇万人，概求吾党质直晓军事之君子将之，以忠义之气为主，而辅之以训练之勤，相激相劘，而后可以言战也。（《致江岷樵书》）
只有精神还不够，还要有物质的条件，曾国藩在起始办团练的时候就规定口粮：操演日给予一钱；出征本省“土匪”，每日一钱四分；征外省“粤匪”，每日一钱五分。队长哨长以次而加。养伤银上等三十，中等二十，下等十两。阵亡恤银六十两。征“土匪”减半，比绿营的饷差不多加了一倍。
由于曾国藩带兵简直是以父兄教导子弟一般地诚信感孚，恩礼有加，湘军士兵，自然亦视长官如父兄，充分做到了上下一心，同仇敌忾的精神。王定安《湘军记》说：
于是陇亩愚氓，人人乐从军。闻招募则争出效命，无复绿营征调离别可怜之色。其后湘军战功偏天下，从戎者日益众。或募千人，则万人应之；募万人，则数万人应之；势不能尽收，甚至丐书干请而后得入。其随营待补客死他乡者，不可胜数，而湘人士迄无怨心。所谓有勇知方者耶？
这支部队士气民心较为高旺，这是曾国藩以儒家的精神教育灌输后所发生的效果。其他各省，虽然也办团练，也募乡兵，但因他们并不知道注重教育与训练，而长官与士兵之间又缺乏亲爱精诚的感情基础，所以终归仍是无用的赘疣而已。明瞭了这一点之后，我们当可知道，湘军之成功，应归于曾国藩的“精诚感召”与“正确领导”。后人推崇他军事学方面的修养，亦即是由此而来的。
太平军定都于天京之后，与清军在湖北、江西、安徽、山东、河南等省展开了激烈的战斗。双方虽然互有胜负，而在大局上，太平军常是居于上风。清朝的总督、巡抚，死了好几个；司、道、提、镇以下的文武官员，阵亡被杀的，更不知凡几。安庆、九江、武昌、汉阳、扬州等重要城市，纷纷易手。此外被太平军攻占的州县城镇，也难以数计。安徽、湖北、江西三省的太平军，势力尤盛。清廷听说曾国藩所练的湘军颇能作战，立即三番五次催调曾国藩出境“援剿”。一会儿命他出兵江西，一会儿又令他赴援安徽，既而又下旨要他去救武昌。曾国藩此时已势成骑虎，不由不作出省用兵的打算了。
这时太平军掠得的船只颇多，长江及其支流，几全受制于太平军。江忠源首先向曾国藩建议：要打败太平军，非速建水师不可。曾国藩也知道在南方作战，水师的重要性。但苦在湘军将领十之八九是书生出身，湘军则是种田的农夫，没有人懂得造船和驾船的技术，更别提在水上作战的方略和战术了。好在他们的对手太平军，也不是擅长水师的部队。洪杨等人虽有船只，也不太知道利用。这样给予曾国藩足够的时间，去摸索学习，从容建立一支具有作战能力的水师，来对付太平军。
最初，曾国藩利用湘江中固有的木牌，上面载着大炮，准备用以攻击敌船。不料试验结果，不仅运转不灵，而且一经炮火震荡，木头都一根根地散开了，根本无法使用。后来改买民船，装上火炮，权充炮船。同时雇募工匠，自行制造。而湖南人从来没有见过战船，无论所买的民船及所造新船，都耐不住炮火的震荡，甚至大一点的风浪都经不起。
后来岳州水师守备成名标及广西候补同知褚汝航，二人到过广东，见过广东水师的战船，他们告诉曾国藩：广东水师有拖罟、长龙、快蟹等战船，那才是真正可以作战的船只。于是曾国藩在衡州、湘潭分设船厂二座，委派成、褚二人为监督，依照广东式样，打造战船。又采纳黄冕的建议：添造小战船一种，名叫“舢板”，以供搜索港汊之用。自咸丰三年冬到次年春初，湘军水师编组完成。计水兵五千人，分为十营，每营五百人，拥有快蟹四十号，长龙五十号，舢板一百五十号。另有拖罟大船一艘，作为大帅坐船。又买钓钩船一百二十号，配上大炮五百尊，改为炮船。又雇用民船一百余号，装载军需辎重。这支水军，七拼八凑总算告成。现在看来，未免幼稚可笑，但在当时，这已是中国历史上最“现代化”的精锐“海军”了。
水师十营，以褚汝航为总统；陆师也是十营，五千余人，以塔齐布为先锋。合计水陆员弁兵夫，约一万七千余人。这时候的曾国藩，俨然已是独当一面的军事统帅了。
成功语录：用恩莫如用仁，用威莫如用礼。
