元代政治制度中对后世影响最为深远的就是行省制度的建立。
忽必烈即位后，采用汉制，在开平建立了中书省，作为全国的最高行政机构。后来随着元代统治中心迁往燕京（即北京），忽必烈在燕京又设立了行中书省，以实行中书省的职责。约在中统三年，中、行两省自然合并，此后就不再有“燕京行中书省”。
正如中书省是全国的最高行政机构，行中书省则是个地方的最高行政机构。在习惯上行中书省则被称为行省。在设立尚书省主持政务期间，又改称为“行尚书省”，简称“省”。
大体上行省的设立过程是这样的。1260年5月，也就是在忽必烈设立中书省一个月后，随即设置了十路宣抚司，“以总天下之政”。这十路分别是：燕京路、益都济南等路、河南路、北京等路、平阳太原路、真定路、东平路、大名彰德等路、西京路、陕西四川等路。每司分领一路或数路，派藩府旧臣出任宣抚使、副，作为朝廷的特命使臣，监督和处理地方政务。但宣抚司无处置军务的权力，使、副又多数没有宰臣职衔，如果发生叛乱或社会治安等方面的特殊情况就不足以应付了。于是忽必烈把一些地区改置行中书省。1261年11月，忽必烈撤销了十路宣抚司。在第二年的12月，重新设立十路宣抚司，但将它作为中书省的派出机构。
忽必烈在外路设立的第一个行中书省是陕西四川行省（京兆行省）。陕西四川行省设立在阿里不哥叛乱时期。1260年，京兆宣抚使廉希宪到任时，为防止阿里不哥已派来的亲信大臣刘太平联络六盘山及四川蒙古军帅，占据京兆地区。廉希宪果断地捕杀了刘太平等人，征调秦、巩等处诸军进入六盘，发仓库金银充军赏，同时遣使入奏，自劾越权的罪过。忽必烈没有责怪他，因为这是他建立的制度存在缺陷而造成的。所以在这件事后，他赞赏廉希宪善于行权应变。这一年的8月，忽必烈将京兆宣抚司改置为行省，即陕西四川行省，以廉希宪为中书右丞，行行省事。这以后，忽必烈又在其他地区先后设立了行省。由于种种原因，几经置废分合，最后稳定为十个行中书省，分统除中书省直辖诸路以外的各大地区，形成了“都省握天下之机，十省分天下之治”的行政区划格局。吐蕃地区直属中央机构宣政院统辖，所以不置行省机构，但也被视为一个行省。这样，元朝全境共划分为十二个一级政区，即中书省直辖、十行省及吐蕃。在1286年以前，行省仍属于中书省的临时派出机构。直到1290年，忽必烈在晚年再次调整了行省建制。他将山东、山西、河北等地直接划归中书省管辖，称为“腹里”。腹里以外的地区则分置岭北、辽阳、河南、陕西、四川、甘肃、大理、江浙、江西、湖广十个行省。自该年始，行省各长官不再是中书省衔。这样行省就成为了最高地方行政机关。不过吐蕃和畏兀儿地区另立管辖机构，不在这一范围之内。
在元代，中书省与行省以下的行政区，划分为路、府、州、县四级。路设总管府，置达鲁花赤、总管、同知各一员。一般州、县归路管辖，县由州管辖。府的地位有些不同，有的直接归省管辖，有的归路来管理。不过具体的管辖归属要看具体情况。而路、府、州、县按人口的多寡，地域的广狭，又分为上、中、下三等。距离行省机构远的地区，元朝则设置宣慰司，作为省的派出机构。宣慰使依旧没有军权。在边境地区，元朝则置宣慰司都元帅府，使宣慰使皆兼帅权。在宣慰司下，还设有宣抚司、安抚司、招讨司、长官司等。这些地区的官吏多用当地土官。
元朝时期，县以下，坊里制与社制并存。坊是指隅和坊，都是城市的基层组织，设有隅正、坊正来管理日常事物。在乡村地区的基层组织机构则分为乡和都两级，有的地区仅有乡或都一级。在乡设里正，在都设主首，用来管理乡都事务。除此以外，1270年，忽必烈又颁行了“农桑之制14条”，规定在农村普遍推行社制，以50家立1社，选择年长通晓农事的人为社长。设立社的目的是为劝导农业、维护乡村秩序。社制在部分城市中也得以推行。
