成吉思汗共有四个儿子，长子术赤，二子察合台，三子窝阔台，四子拖雷。继成吉思汗成为蒙古可汗的是他的第三子窝阔台。窝阔台死于1242年，其后即位的是他的长子贵由。贵由汗即位后，蒙古帝国内部分裂倾向更为明显，政治动荡，社会经济日益衰败。1248年贵由汗去世后，他的两个儿子展开了激烈的皇位之争，这就给了拖雷系以可乘之机。这时，术赤家族拥立拖雷的长子蒙哥（1208-1259），派军队护送蒙哥回归蒙古草原，用武力胁迫亲贵们召开“忽里台大会”，推选蒙哥为汗。
1251年，蒙哥继承汗位，开始大规模削除异己，窝阔台、察合台两系的亲王们及其亲信大多被杀或被幽禁。蒙哥对自己的兄弟们也不大放心。其弟忽必烈（1215-1294）受命经营中原地区，用汉法治理汉地，不但招致蒙古游牧贵族的不满，也使蒙哥大为惊惧。他怕忽必烈的威望日重，会威胁到自己的汗位，就于1257年解除忽必烈的兵权，并派人大肆迫害忽必烈的亲信。忽必烈急忙把妻子、女儿送到汗廷作人质，表明自己的忠心，蒙哥这才暂时罢手。
忽必烈主管整个北方地区的军事、行政事务，因此有机会结识了一批有学问的汉族知识分子。像僧侣刘秉忠，学者张文谦、王鹗、郝经、姚枢等，都是忽必烈最亲信的谋士。刘秉忠对忽必烈说：“古人说：‘以马上取天下，不可以马上治。’成吉思汗皇帝骑马挥鞭，叱咤风云，灭国四十，没几年就取了天下。但是治理国家还要靠典章制度、三纲五常。”郝经也说：“今天谁能重用士大夫，又能推行中国原有的治国之道，谁就能当中国的皇帝！”这些话对忽必烈来说是很有启发意义的。他想将来一旦得到天下，就可以采用“汉法”来统治全国。
为了巩固自己的根基，忽必烈派人在滦河北岸的龙岗（今内蒙古自治区多伦县西北）建造了宫殿、住宅，形成了一座新的城市，叫开平。这里成为忽必烈的根据地，他的一大批谋士也聚集在这儿。
1258年，蒙哥率军进
攻南宋。第二年春天，蒙古军队到达合州钓鱼城（今重庆合川东），双方展开激烈的攻守战。因久攻不下，蒙哥很着急，就亲自率领军队猛攻合州城，还是攻不下来。不久，蒙哥突然病死在钓鱼城下，但也有人说他是被飞石打中后负了重伤，回到军营以后死的。
这时候忽必烈正在向鄂州推进，蒙哥死去的消息传来以后，他想加紧进攻鄂州，再北上夺取大汗位。而此时，忽必烈的幼弟阿里不哥却正准备抢先在和林（今蒙古人民共和国乌兰巴托西南）即位。就在忽必烈一筹莫展的时候，南宋宰相贾似道派人来求和，于是谋臣郝经马上向忽必烈献计：一面派遣军队去迎接蒙哥的灵车，把大汗的宝玺夺过来；一面赶快与贾似道议和，迅速撤军，并派轻骑兵赶到燕京，防止阿里不哥的势力南下。忽必烈采纳了他的计策，于1260年春天赶到他的根据地开平，宣布即位，并按汉人纪元的方法，把当年定为“中统元年”。
阿里不哥获悉忽必烈在开平即位的消息后，也匆忙在和林召开大会，宣布自己为大汗。“天无二日，国无二主。”忽必烈于是决定采取军事行动。他先派人把阿里不哥的支持者全部清除，自己则亲自带兵攻打和林。阿里不哥哪里是他的对手，便逃到谦谦州（今俄罗斯境内的叶尼塞河上游南）。他怕忽必烈追来，就使出一套缓兵计，派人向忽必烈表示忏悔，承认忽必烈为大汗，还说：“本当马上亲来朝拜，只因现在马匹很瘦，等马匹养肥之后，再同察合台汗国的阿鲁忽王等一起来朝拜。”忽必烈于是派堂弟也孙哥驻守和林，等待阿里不哥，自己先回开平了。
1261年秋天，狡猾的阿里不哥眼看马儿已经养肥了，假意派人到和林向也孙哥投降，接着发动突然袭击，又把和林夺了回去。忽必烈得到消息，马上带兵迎战。双方在戈壁沙漠以南进行交战，阿里不哥大败，逃回和林。1264年，走投无路的阿里不哥向忽必烈投降，两年后就病死了。
忽必烈在平定阿里不哥以后，把政治中心从和林移到中原，继续推行汉法。1271年，在进攻南宋取得不断胜利的形势下，忽必烈听取刘秉忠的建议，根据《易经》上“乾元”（极大）的意思，把蒙古国改为“大元”，元朝正式建立了，忽必烈就是元世祖。第二年，忽必烈把燕京改为大都，正式定为全国的首都。
