这年冬天，彭大的儿子彭旱住自称鲁淮王，赵均用自称永义王，而郭子兴等仍是元帅。
朱元璋见这些人半年没出濠州城，于是他从自己招募的新兵中挑选了心腹徐达、汤和等二十四人离开濠州，南略定远。在南略定远途中，朱元璋先招抚了张家堡驴牌寨民兵三千人，后又招降了豁鼻子秦把头的八百人。统率着这支队伍，朱元璋向东进发，乘夜攻破定远横涧山的元军营地，元帅缪大亨投降。朱元璋从降军中挑选了精壮汉人二万人编入了自己的队伍，并南下滁州（今安徽滁县）。
在南下滁州途中，定远名人李善长到军门求见。李善长和朱元璋一见如故，李善长以汉高祖刘邦为例劝说朱元璋：只要效法刘邦知人善任，不乱杀人，很快便可平定天下。朱元璋认为很有道理，于是留李善长做了幕府的书记，并嘱咐李善长好好协调将领间的关系，共创大业。
朱元璋很快攻下了滁州，其亲侄儿文正、姐夫李贞带着外甥保儿（后来取名文忠）前来投靠。从他们口中，朱元璋得知二哥、三哥、姐姐都去世了，不免伤心。其时还有定远孤儿沐英，甚是可怜，于是，朱元璋就将这三个孩子收作养子，改姓朱。后来，朱元璋又收养了二十几个义子。
在朱元璋进攻滁州时，郭子兴受到赵均用、孙德崖等人的排挤，所以，朱元璋攻下滁州城不多久，郭子兴也来到了滁州。朱元璋立即交出兵权，三万人的队伍，纪律严明，军容肃整，郭子兴见了十分欢喜。
1353年，朱元璋任命虹县（今安徽泗县）人胡大海为前锋，一举攻克了和州。消息传来，郭子兴即刻任命朱元璋为总兵官，镇守和州。一次，朱元璋外出，看到一个小孩在哭，朱元璋问他为什么哭，答说是等父亲。朱元璋仔细一询问才知道，原来孩子的父亲和母亲都在军营，父亲在营中养马，母亲和父亲不敢相认，只好以兄妹相称。朱元璋意识到，部队军纪存在问题，他们攻破城池后，扰民滋事，掳掠妇女，这样下去，部队将失去民心。于是，朱元璋召集众将，申明纪律，下令归还军中有夫之妇，让城中许多被拆散的夫妻团圆。此事广为传颂，朱元璋深得民心。
此年三月，郭子兴病逝，小明王韩林儿任命郭子兴的儿子郭天叙为都元帅，妻弟张天为右副元帅，朱元璋为左副元帅。名义上，都元帅是军中之主，右副元帅的地位也比左副元帅高。但是滁州和和州的军队，多是由朱元璋招募收编的，而且朱元璋比郭天叙和张天有勇有谋，并且手下又有人才。所以，朱元璋事实上成了这支队伍的主帅。
在朱元璋称帝之前，所奉行的策略是朱升提出的“高筑墙、广积粮、缓称王”。高筑墙是指加强军事防备，巩固后方；广积粮是指发展经济生产，储备粮食，增强经济实力；缓称王则是指不要过早称帝，以免树敌过多。这三条建议极具战略眼光，是朱元璋发展初期的指导思想。
朱元璋在和州驻守几个月后，粮食供应成了问题。与和州相对，紧靠长江南岸的太平（今安徽当涂）、芜湖是盛产稻米的地方，但是没有船只，只能望江兴叹。这时恰好两支红巾军的巢湖水军前来归附，朱元璋亲自处理合并事宜。七月间，巢湖水军千余只战舰突破元军封锁抵达和州。朱元璋的步马军登上巢湖水军的船只，从和州东渡长江。到达对岸的采石，常遇春一马当先，率军冲杀，攻克采石，获得大量粮食。将士想把粮食和战利品运回和州慢慢享用。见此，朱元璋果断地命人砍断船缆，任船顺流而下，断绝退路。将士们见无路可退，一鼓作气，在朱元璋率领下攻克太平。进入太平，朱元璋重申军纪，严禁掳掠，有个别兵士犯禁，立即处死，因此，朱元璋的军队受到当地百姓的拥护。朱元璋于是置太平兴国翼元帅府，自己做元帅，任命李善长为帅府都事。这样，朱元璋便开始了稳固根据地的工作。
至正十六年（公元1356年）三月，张士诚在长江三角洲地带发起攻势，进攻江南元军。乘此机会，朱元璋亲自统率水陆大军，第三次进攻集庆（今江苏南京）。在第三天，攻破城外的陈兆先军营，其部三万六千人归降朱元璋。但是，朱元璋看出降军心存疑虑，军心不定。于是朱元璋就从降军中挑选了五百名勇士当亲军，在夜里守卫，而自己身边，只留有亲兵统领冯国用一人。
第二天，降军知道此事，都十分感动，疑虑全消，甘愿跟随朱元璋打天下。于是，战争进行得十分顺利，不到十天，朱元璋便攻下集庆。
朱元璋进城后，下令安抚百姓，改集庆为应天府。小明王韩林儿获报后，升朱元璋为枢密院同佥，不久又升为江南等处行中书省平章。朱元璋在应天则设天兴建康翼大元帅府，以廖小安为统军元帅，李善长为左右司郎中。
此时，尽管朱元璋拥有十万兵力，声势比过去大了很多，但是占有的地盘仍然很少，而且四面受敌。东面和南面是元军，东南是张士诚，西面是徐寿辉，虽然同是反元武装，但是张、徐二人同小明王却相互敌视。不过，北面小明王、刘福通率领的红巾军主力，大大牵制了元军，而且，张士诚、徐寿辉的力量还不足以兼并朱元璋。这样一来，朱元璋暂时没有对付不了的敌人，并且面临着一个很好的发展机会。
朱元璋目前首要的任务是巩固以应天为中心的根据地。于是在占领应天不久，朱元璋立即派徐达攻取镇江。出战前，为了严明军纪，朱元璋故意以放纵士卒的罪名将徐达抓起来，并准备以军法处斩。此时，李善长出来求情，众将不知是计，也一起求情。于是朱元璋就顺水推舟，说看在众人的面上，暂时免去徐达死罪，不过要徐达攻下镇江后，做到不烧不抢，方可完全赦免徐达之罪。众将见对待主将尚且如此严厉，因此，无不严守军纪，镇江很快攻下。
到1357年冬，朱元璋在一年的时间里先后攻下了金坛、丹阳、江阴、常州、常熟、扬州等地，控制了应天周围的战略据点。到1359年，从现在的地图看，朱元璋已经占领了江苏南京、太湖以西，往南经江苏、安徽、浙江三省交界处，到浙东的一块长方形地区。与四年前刚占领应天时相比，形势已大有改观。
在完成了“高筑墙”的部署后，朱元璋便着手实行“广积粮”了。在初期，军粮的解决主要是靠强征，即征收“寨粮”。但是长此以往，军队就会成为纯粹的破坏力量，失去民心。为了解决粮食问题，朱元璋除了动员百姓进行生产外，决定推行屯田法，大力开展军队屯田，任命元帅康茂才为都水营用使，负责兴修水利，又分派诸将在各地开垦种田。几年工夫，到处兴屯，府库充盈，军粮充足。
在1360年，朱元璋下令不再征收“寨粮”，以减轻农民负担。为了积粮，朱元璋明令禁酒，但是其手下大将胡大海的儿子胡三舍与别人违法犯禁，私自酿酒获利，朱元璋知道后，下令杀了胡三舍，有人进谏说胡大海此时正在攻打绍兴，希望朱元璋可以看在胡大海的面子上放了胡三舍。朱元璋大怒，坚决严明军纪，于是自己动手将胡三舍杀掉。
在争取民心的同时，朱元璋还不断网罗人才，特别是地主阶级的知识分子，朱元璋在应天还专门修建了礼贤馆来接待他们。这些人在朱元璋统一全国的过程中起了重要作用，如李善长、朱升。朱元璋十分尊重儒士，他曾在1358年召见儒生唐解实，询问汉高帝、汉光武、唐太宗、宋太祖、元世祖平定天下之道，这也表明朱元璋决心要开创一个新的封建皇朝。
朱元璋建立以应天为中心的根据地，在长江上游有陈友谅，长江下游有张士诚，东南邻方国珍，南邻陈友定。方国珍、陈友定的目标在于保土割据，张士诚则对元朝首鼠两端，没有多大雄心；陈友谅最强，是朱元璋占领应天后遇到的最危险的敌人。
陈友谅本是徐寿辉手下大将倪文俊的部下。后来他杀死倪文俊，并于1360年挟持徐寿辉，攻占了太平、采石。于是陈友谅以为应天唾手可得，就杀了徐寿辉，在采石称帝，国号汉，改元大义。
接着，陈友谅约张士诚东西夹击应天，平分朱元璋的领地，应天大震。朱元璋只好召集众将商量对策，一时众说纷纭。惟有刘基默不作声，朱元璋知道刘基有主张，于是征求他的意见，刘基认为目前最危险的敌人莫过于陈友谅，必须集中力量消灭他。虽然陈友谅势力强大，但是他杀君自立，部众离心，人民疲敝，故而不难战胜，只要等他们深入，再以伏兵击之，不难取胜。
朱元璋同意刘基的判断，于是设计诱敌深入，制造战机。朱元璋的部将康茂才和陈友谅是老朋友，于是康茂才修书一封，派人送到陈友谅营中，约陈攻击应天，并说愿意在江东桥作内应。
六月二十三日早晨，陈友谅率舰队主力赶到应天郊外的江东桥，才发现桥是石桥而非木桥，方知受骗中计。但为时已晚，朱元璋的伏兵奋起攻击，陈友谅大败。朱元璋收太平，占领信州、安庆。陈友谅败逃九江，第二年八月攻下安庆，于是朱元璋率军直取陈友谅的老巢江州，陈友谅逃往武昌，朱元璋攻克江西和湖北东南部。
正在这时，中原红巾军发生分裂，力量削弱。至正二十三年二月，张士诚乘人之危，派部将吕珍进攻安丰，刘福通向朱元璋求救。待到朱元璋率军赶到安丰时，刘福通已被吕珍杀死，朱元璋只救出小明王韩林儿，把他安排在滁州居住。
朱元璋率主力营救小明王时，陈友谅认为反攻时机已到，于是率兵进攻洪都（今江西南昌）。
