元世祖忽必烈即位时，蒙古已是一个称雄欧亚大陆的庞大帝国。放眼望去，东边的高丽已成为蒙古的属国，南宋则苟延残喘，亡国只是早晚之事。隔海固封自立的日本，于是成为了元世祖想要征服的下一个目标。
得不到回应的使者
至元三年（1266）八月，元世祖忽必烈派遣兵部侍郎黑的、礼部侍郎殷弘来到了高丽国都城。要求高丽国王协助晓谕日本，使之臣服。此时的高丽君臣上下认为本国无法再承担战争的沉重负担，决定想办法打消蒙古的战争意图，争取时日，休养生息。
于是，在护送蒙古使者到达巨济岛以后，高丽宰相李藏用以“风涛险阻”为由，再三劝阻，终于说得蒙古使者黑的放弃诏谕日本的使命，返转大都去了。
元世祖得知使者空返而归，勃然大怒。他对不尽力配合的高丽进行了一番严厉的申斥：“卿先后食言多矣，宜直身焉。”忽必烈严令高丽立即与日本交涉，要求日本对蒙古臣服进贡。至元四年（1267）九月，高丽被迫派遣使者前往日本劝降。
从至元六年（1269）到至元九年（1272），蒙古、高丽的使者前后五次往返，要求日本臣服进贡。日本的实际统治者镰仓幕府态度强硬，对蒙古拒绝通交，不给予任何的回应。当时，日本正处于变革时期，社会动荡，镰仓幕府的统治者北条时宗为了维护自己的统治地位，态度强硬，根本不会在对蒙古的交涉中低头，否则他的统治将在顷刻间瓦解。
忽必烈自恃武力强大，对于岛国日本的强硬态度无法理解，再三地派出使者前往日本。但是很显然，他对于日本国内的社会状况了解不够，对日本抵抗的决心也没有充足的体会。镰仓幕府从一开始就决定彻底抗战，一直无法得到日本正面回应的元世祖忽必烈终于认识到了外交压服不可行，决定以武力征服日本。
第一次远征
为了远征日本，忽必烈在高丽大量屯军，并在当地强征兵员，迫使高丽国负担造船的重任，远征日本的计划紧锣密鼓地进行着。
至元十一年（1274），蒙古向高丽下达了造舰900艘的旨令，要求其中300艘千石大船，300艘快速战船，300艘汲水小船。限期急迫，高丽国内深以之为苦，怨声载道。由于时间紧急，最后完成的海船是依照较为轻便的高丽船式而非坚固的南宋船式建造的。
同年年底，蒙古、高丽联军2.8万人乘坐900艘海船自高丽合浦出发，航向日本，开始第一次远征日本。庞大的蒙古远征船队很快就渡过对马岛西海域，在对马岛登陆，日本幕府守护代宗助国率领80余骑迎战，力量对比悬殊，幕府武士全部战死。不久，远征军登陆壹岐岛，只一天便攻陷岛城，壹岐幕府守备部队崩溃，守护平景隆自杀。联军很快逼近肥前松浦郡，守护松浦一族崩溃。
延伸阅读
元朝和南海诸国的交往开始于灭南宋之后。至元十四年（1277），元军攻占福建，南宋主管市舶的蒲寿庚投降，使元朝拥有了通往海外的主要港口泉州和大量海船，以及熟悉海外交通、国情和贸易的人才，由此开展了对南海诸国的外交活动。
爪哇是当时南海的强国，因此，元朝“招抚”海外诸国，以爪哇为主要目标。忽必烈认为只要征服了爪哇，就能平服其余各国。元朝多次派出使臣出使爪哇，爪哇也曾向元朝进贡金佛塔，但后来却驱逐了元朝使臣。至元二十九年，忽必烈以爪哇驱逐使者为理由，派兵征讨爪哇。元军对爪哇的进攻遭到爪哇军民的抵抗，四月，元军被诈降的爪哇军队偷袭，战败以后逃回国内。元朝远征爪哇之役，以失败而告终。
获得急报的九州武士们在镇西奉行少贰资能和大友赖泰的指挥下，向元军可能登陆的沿海地带集结。十月十九日，蒙古、高丽联军的船队到达博多湾。第二天联军在今津、博多一带登陆，日本本土的陆上作战正式开始。
日本武士对联军阵地展开奋勇抗战，激烈的战斗持续到日落，蒙古军团的副将刘复亨在战斗中为箭矢所伤。另一方面，惯常一骑讨战术的日本武士在蒙古军团的集团作战打击下，伤亡惨重，博多、箱崎各地一一沦陷。稍后逐队赶来参战的九州各武士团体也在联军集中火力的打击下迅速溃败。日本武士被迫向大宰府水城方向退却。
入夜以后，取得胜利的蒙古、高丽联军各位将领对下一步的战斗安排发生了分歧。对日本颇有了解的高丽名将金方庆主张以破釜沉舟的气势对大宰府的抵抗者做彻底的决战，一鼓作气解决九州岛的战役，然后静待己方的援军。而蒙军将领忻都与洪荼丘对日本武士奋力抗争的气势颇有余悸，考虑到联军士卒疲劳，将帅负伤，惟恐遭到敌方的夜袭，最终决定联军部队放弃已经取得的陆上阵地，全军撤回海船暂歇。
当天夜里，博多湾风高浪急，联军海船触礁沉没很多，将士之中落水溺死者无数，军心极度动摇。在这样的状况下，继续征伐日本已经完全没有可能，残军于是连夜退回高丽，蒙古对日本的第一次远征以失败而告终。
第二次远征
第一次远征失败后，元世祖一直耿耿于怀，决心择机再度征伐日本。
至元十五年（1279），南宋灭亡。一度中止的征伐日本的准备工作重新进行。这次，不单在高丽建造战舰，南宋的降将范文虎也在江南一带开始建造起了海船。
至元十六年，忽必烈确定了远征日本的计划，元将忻都、洪荼丘和高丽将领金方庆率领蒙古、高丽、汉（指原辽、金和蒙古统治下北中国的汉人）联合的4万远征军，组成东路军，自高丽合浦出发；阿剌罕、范文虎率领10万被称为蛮子（原南宋领下的汉人）的新附军，号江南军，自浙江宁波出发，两军预计于壹岐岛会合，共同攻击日本。为了保证远征军持续作战的能力，忽必烈指示远征军携带锄头、铁锹等农具以备登陆后就地屯垦之用。
至元十七年五月三日，东路军从合浦出发。五月二十一日，船队占领对马岛、壹岐岛。本来按照忽必烈的计划，东路军应该在壹岐岛就地休整，等待江南军会合以后再攻击日本本土。但是东路军在壹岐岛并没有停留太长时间便扬长东行。六月六日，东路军到达博多湾，为沿海石垒所阻，未能立即登陆，于是船队在博多湾中志贺岛、能古岛下锚。
由于石垒的阻碍，远征军自始至终无法成功登陆博多，只有海水退潮的时候，志贺岛有狭长海滩通往陆地，远征军于是和日本武士们在这一海中通道间进行了殊死的拼杀。由于通道狭窄，元军无法发挥其集团作战的能力，又因为是在海上，蒙古人所擅长的骑射与火器战术也没有办法施展，战斗持续到六月十三日，元军伤亡甚众，却一无所获。
眼见东路军已不可能独力登陆博多，并且事先和江南军约定的壹岐会合的日期也已经临近，东路军将领计议之后，率军退出博多湾，前往壹岐岛。
但是到达壹岐岛后，东路军却发现江南军失约未至，欠缺食水、疫病肆虐的东路军上下军心动摇，惶惶不安。
正当东路军进退失措时，江南军的先遣队到达了壹岐岛，带来的消息是由于江南军统帅阿剌罕患了疾病，忽必烈已经任命了阿塔海取而代之。然而阿塔海迟迟不能到任，范文虎于是派出先遣队通知东路军，江南军的本队稍后即会赶赴壹岐。六月二十九日和七月二日，尾随先遣队而来的日本武士先后两次攻击壹岐，激战不支，被击退。久等统帅阿塔海不至的江南军在范文虎的率领下于六月十八日离开浙江，七月上旬和东路军在平户岛附近会合。
七月二十七日，远征军东进，占据鹰岛，开始为登陆日本本土而准备。就在此时，远征军突然遭到台风的袭击，远征船队躲避不及，海船在风浪中相互撞击，大部分沉没。台风过后，元军将士溺死甚众，东路军与江南军统帅落魄丧胆，率领残存的船只退往大陆。日本武士驾小船出海，捕杀在海上落难的元军士兵。元军被遗弃者约3万人，除部分被俘，余皆战死。俘虏之中来自南宋的新附军被留做部民（奴隶），其余蒙古、高丽战士都被杀死，弃尸于海。
元帝国对岛国日本的第二次征伐就此落幕，14万大军只有3万多人归还。
元世祖忽必烈无法容忍两度征伐日本的失败，征伐日本成为了他的一块心病。第三回远征日本的准备工作一直到至元三十一年（1294）忽必烈去世才被终止。而此时，由于江南人民的起义反抗，征伐日本的计划就再也无人提起了。
