元朝在失去大都之后，又苦苦支撑了三十四年之久，他们先是与明军周旋于山西、陕西、甘肃等省，后又退守长城以北，穿越荒芜的大漠。在丧失了全部的主力之后，他们仍然高举元朝的大旗，力图东山再起，但是复国的梦想最终却成为了泡影。
逐出中原
洪武元年（1368）八月初二，朱元璋的北伐大军攻下元朝大都，元顺帝携妃北逃上都。元大都虽然已失，元顺帝仍然坐在上都发号施令，元军实力还很强大。徐达、常遇春深刻地认识到了这一点，他们不敢大意，立即移师西进，接连进取山西、陕西诸地。从朱元璋的北伐军攻克大都到洪武二年（1369）八月，整整一年间，元军不但顽强抵抗，而且还多次组织大规模反攻。
在此期间，朱元璋的西征军从河北入山西，遇上扩廓帖木儿派来争夺泽州（今山西泽州）的军队，西征军大败，扩廓帖木儿见北平（攻克大都后，朱元璋改大都为北平）空虚，亲率兵马出雁门关，打算偷袭北平。徐达首先得到情报，可是他并没有回援，反而以围魏救赵之计，直捣扩廓帖木儿大本营太原。扩廓帖木儿的部队行到一半，得到消息，马上移师太原，半夜时分，被徐达早已埋伏好的兵马伏击。元朝名将扩廓帖木儿仅以十八骑北逃，从此山西全境尽归大明所有。
洪武二年（1369）三月，西征军攻入奉元路（今陕西西安），李思齐逃奔凤翔，又转向临洮，始终无法摆脱追兵，势穷而降。然而元军并没有因为扩廓帖木儿的失败放弃夺回大都的计划，他们趁北伐军西进之机，偷袭北平外围重镇通州。北平城并无重兵把守，常遇春和李文忠二人效仿前次徐达解围北平之法，率步骑九万，直指元上都，元顺帝继续北逃，进入沙漠，北平方面因此转危为安。
不幸的是，在胜利回师的途中，常遇春暴卒，李文忠接管了他的军队，继续西征，全歼围攻大同的元军，生擒脱列伯，杀死孔兴。元顺帝见几次夺取大都都失败了，从此打消了南返的念头，只好回到漠北，做起称雄漠北的蒙古大汗。
此时的徐达大军没有回师的意思，他们继续西进，张良弼逃到宁夏，他的弟弟张良臣在庆阳归降，不久又反，被杀，陕西由此平定。
这一年多来，元朝大将李思齐、孔兴、脱列伯、张良弼兄弟降的降、死的死，仅剩下扩廓帖木儿拥兵宁夏，不时出兵骚扰边境。洪武三年（1370），朱元璋又命大将军徐达征讨漠北元朝残余势力，扩廓帖木儿的部队先围兰州，后与大明军队激战，大败奔回和林（今蒙古国库伦西南）。
三路北伐
洪武五年（1372）正月二十二日，朱元璋精心拟定一套远征大漠的计划，命徐达为征虏大将军，李文忠为左副将军，冯胜为右副将军，各率五万人马，分三路出征。以徐达为中路，出雁门关，直逼和林，沿途大造声势，其目的是诱使元军出战，在野外歼灭元军主力。这次朱元璋的目的不再是攻城夺地，而是要消灭元朝的全部力量。
李文忠部为右路，出居庸关，经应昌，靠向和林，在徐达大军诱出元军主力之后，出其不意切断元军后路，前后合击元军。冯胜的左路军作为疑兵，出击甘肃，用来迷惑元军。
二月二十九日，徐达大军开进山西境内，先锋蓝玉奉命出雁门关，在野马川（今蒙古国克鲁伦河）与扩廓帖木儿的先锋部队相遇。猛将蓝玉奋勇当前，扩廓帖木儿不敌，败逃。三月二十日，蓝玉连夜追击，在土剌河（今蒙古国乌兰巴托西）赶上敌军，再次击败元军。接连的胜利，使徐达、蓝玉以为很快就能击败扩廓帖木儿，他们丝毫没有发觉已中了敌人的计谋。正如扩廓事先部署的一样，大明的军队果然中计，进入了元将贺宗哲在岭北（今内蒙古北部）设下的埋伏圈。由于徐达的部队根本没有提防，中路大军惨败，幸好徐达有多年带军经验，遇事冷静，稳住了局势，将军队成功撤出包围圈，紧接着修筑了堡垒，挡住了扩廓帖木儿的数十次进攻，才不至于全军覆没，大明的军队遭此惨败，死伤超过万人。
事隔二十五年后，朱元璋想起这次岭北大败还是非常介怀。他在信中告诫儿子朱棣时说，他一辈子领兵打仗，从来就没有输过，每次要进攻的时候，都要先观察敌人的变化。岭北的这次失败，主要是将帅轻敌，没有仔细思考，才导致了死伤数万人之多。由此可见，此次大战对朱元璋的影响有多么的巨大。
战场上的奇迹
右路的李文忠也不顺利。洪武五年（1372）六月二十九日，右路大军抵达口温（今内蒙古查干诺尔南），两军接触，元军败退，李文忠轻敌冒进，不顾辎重，亲率大军轻装追击敌军。当追到阿鲁浑河（今蒙古国乌兰巴托西北）时，李文忠发觉中计，被元军引诱进预设好的包围圈。元军当即发动攻击，李文忠率部拼死冲杀，大战数日，居然打垮了元军的伏击，歼敌万余人。反败为胜的李文忠不顾自身损失惨重，继续指挥大军千里追击，直到称海（今蒙古国哈腊乌斯湖）。逃无可逃的元军被迫摆开决战的架势，要与李文忠拼命。李文忠并不急于决战，数日后，发现粮草不足，就从容地撤离了战场。元军恐有伏兵，只好眼睁睁地看着他们离去。
出击甘肃的左路军，在冯胜的率领下到达了兰州，这种情况下分散兵力是大忌，但冯胜还是给了左路先锋官傅友德五千人马。傅友德早先跟过徐寿辉，陈友谅夺了徐寿辉政权之后没多久，他便投到了朱元璋的帐下。这一次傅友德并没有因为自己兵力少就龟缩不前，在分析了甘肃地区的局势之后，他先率兵击败镇守西凉（今甘肃武威）的元将失剌罕，跟着乘胜直取永昌，击败元太尉朵儿只巴，歼敌数千。冯胜看到了傅友德的能力，马上将军权交给了傅友德，这下傅友德更是一鼓作气，拿下了林山（今甘肃酒泉北）。六月三日，傅友德大军在进攻途中遭遇元将上都驴，元军被全歼，六月十一日，攻打亦集乃路（今内蒙古额济纳旗），元军守将伯颜帖木儿开城投降。傅友德的大军前进至别笃山口，与元岐王朵儿只班的元军主力相遇，抓获元朝官员二十余人，元岐王独自一人逃走。之后傅友德大军追到瓜州（今甘肃安西），击败当地守军，缴获的牛羊不计其数。从五月到十月这五个月里，傅友德率领数万大军纵横甘肃，七战七捷。
这次北伐虽然没有达到朱元璋肃清北元的目的，却让北元认识到了大明王朝的强大，双方从此陷入僵持状态。
元朝的灭亡
洪武二十一年（1388）三月，朱元璋命蓝玉为主帅，率领十五万大军再次北伐。蓝玉大军由大宁出发，攻击前进至庆州（今内蒙古巴林左旗）时得到情报，在捕鱼儿海（今蒙古国贝加尔湖）附近找到了北元皇帝及元军主力。在这次战斗中，元军主力被全歼，北元皇帝脱古思帖木儿带着他的儿子天保奴、知院捏怯来和丞相失烈门，打算效仿扩廓帖木儿逃奔和林，重振元朝。当他们逃至土剌河时，被曾与忽必烈争夺汗位的阿里不哥（忽必烈的弟弟）的后裔速迭儿所杀，速迭儿当上了蒙古大汗，自称卓里克图汗。可是速迭儿在夺位不久后便死去了，他的大位继承者坤帖木儿在建文四年（1402）被部将鬼力赤篡夺了汗位，从此取消了元的国号，恢复鞑靼的旧称。
从至元八年（1271）忽必烈公告《建国号诏》的法令于天下，取《易经》中“大哉乾元”之意，正式建国号为“元”，到鬼力赤取消“元”的国号，历经一百三十一年，元朝才算彻底退出了历史的舞台。
