咸丰十年（1860），李鸿章接到曾国藩命令，统带淮扬水师，后来湘军攻破了安庆，曾国藩称其“才可大用”，这支淮扬水师便是大名鼎鼎的淮军的水上作战部分。
当初为了成立淮扬水师，曾国藩可谓煞费苦心。由于清朝故步自封，没有跟上世界工业革命的脚步，不会制造洋枪洋炮的技术，只能通过一些通商口岸和商业上的渠道与外国人进行沟通交易。所谓水师，就是水军，若想与外国列强一争高低，守住通商海港，就缺不了先进的炮舰，只有火力充足才能成为与列强谈判的资本。
英国是第一个经历工业革命的国家，发现并研究出了蒸汽机的使用，利用蒸汽可以推动庞大的器械运作，远航蒸汽炮舰便是其中的一个重大发明，大大提高了英国的海上战斗力，为他们远渡重洋侵略中国提供了便利，这也是导致鸦片战争爆发的原因之一。
起初，淮扬水师的组建和李鸿章并无关系，只是后来曾国藩任命他担任淮扬水师的统帅。刚开始时，曾国藩就想建立一支系统的、正式的海上作战部队，首先需要枪支弹药，其次需要购买几艘蒸汽炮舰，只有具备了这些才能让水师初具规模。曾国藩把组织淮扬水师的相关事项交给了他的儿子曾纪泽处理。
对于购买远航蒸汽炮舰，曾纪泽偏向于向美国购买。首先，美国价格给的低，而且在质量方面有所保障，可是碍于英国对清朝的影响力和其在世界军事科技上仍处于领先地位，曾纪泽约见了当时英国驻上海的领事，表达了准备购买炮舰的意愿，领事听后非常高兴，大清朝的财富很强大，他们肯花钱，英国领事自然双手赞成，可是当听说清朝方面从美国购买枪支炮弹时，英国领事露出不满的表情。
曾纪泽为了缓和局面，谦逊有礼地回答道：“领事大人，当下正值多事之秋，我方政府国库紧缩，考虑到英美两方的枪炮价格，我们只好选择更加经济的一方，并不是对贵国的技术没信心，否则也不会找您购买大型的炮舰了，请您见谅，您放心，今后我们还有很多方面可以合作。”曾纪泽深知外国佬的实力，他们对清朝这块传说中遍地金砖的国度垂涎已久，倘若外国列强火力全开，大清朝定会支离破碎，辽阔的土地也会成为别人的殖民地，老百姓成为流离失所的奴隶，所以不论进口先进武器还是谈判，清朝官员都不由自主地放低身段，至于平时高傲的尊严也全都收敛起来了，面对列强这些猛虎，清政府仿佛一只小猫，温顺可怜。
可是，事情没这么简单就结束。英国领事贪心不减，进一步提出扩张英国租界的要求，好像非得从中国伤痕累累的身上再剜掉一块肉，为此领事还美其名曰：“扩张租界可以促进中英贸易合作，也表现出深深的诚意。”曾纪泽听后心生愤怒，可是他又不好发作，只好忍气吞声，将这个“皮球”踢给了远在京城的慈禧太后，他不冷不热地回复英国领事：“我只是一介小小巡抚，无法决定领土归属这样的大事，您若真有此意就去找皇上商议吧！”
英国领事眼见曾纪泽鸭子嘴硬不肯松口，心中恼火的同时采取了直接报复，于是在卖给曾纪泽七艘当时最先进的蒸汽炮舰时大做文章，狠狠抬高价格，先是让江苏衙门交付巨额定金，然后又以改善军舰技术为由把价格硬生生提高了三成，虽然知道这是英国人无耻的报复措施，但建立淮扬水师迫在眉睫，不得不尽数答应下来，蒸汽炮舰购买下来，却也让中英两方关系变得更加僵硬紧张，两方不欢而散。
这七艘蒸汽炮舰后来便成了淮扬水师的主要战斗力，再加上曾国藩从湘军水师中调拨过来的三千水勇和四十艘旧式舢板构成了淮扬水师，曾纪泽任命黄翼升为水师提督，但是虽然这支水师在名义上是曾纪泽建立的，但除了蒸汽炮舰，几乎所有兵力都和湘军有着密切的联系，因此淮扬水师与曾国藩、彭玉麟等人更加亲近，后来曾国藩重用李鸿章，将淮扬水师的统率权交给了他，并传授他训练水军的一些方法和经验。
