在元世祖忽必烈平滅南宋以後，蒙元帝國的疆域覆蓋了原本的金、宋、西夏、大理等諸國的範圍，雖然國土越來越大，但人口本就不占優勢且分散於歐亞各地的蒙古人在治理上並沒有出現太大的困難，終元一代除了皇室內部鬥爭以外地方也極少叛亂。能做到這一點，除了蒙古騎兵強悍的戰鬥力威懾以外，那要歸功於忽必烈將中央派出機構「行中書省」常設，並逐漸形成了行省制度。
行省建立的原因：十路宣撫司的興廢與統籌管理思想
在忽必烈建制的最初，對於地方的一級行政機構選擇了沿襲金代的路，中統元年(1260)，元廷「於燕京、益都濟南、河南、北京、平陽太原、真定、東平、大名彰德、西京、京兆等十路分置，掌管各路軍政和民政。設宣撫使、副使等職。受燕京行中書省節制。」
十路宣撫司的設置沿襲金代，但卻有著濃厚的時代背景原因，早在窩闊台時期，人數不多且分散於歐亞大陸的蒙古人，為了維持在華北的統治，窩闊台對於漢軍世侯採取了拉攏示好的政策，漢軍世侯在轄區內管轄軍、民、財政，權限極大且世襲罔替。
直到忽必烈與阿里不哥作戰時，服務於戰爭需要，忽必烈急需在中原獲取資源，而漢軍世侯在金朝滅亡以後已經失去了大部分價值，忽必烈出台了十路宣撫司的管轄制度用以限制漢軍世侯的權力。
十路宣撫司的主要官員宣撫使以及提刑使權限範圍很寬，在負責監督官員、徵稅、刑罰、考察官吏等職能類似於金代以外，還有為與阿里不哥戰爭提供保障的簽署軍隊以及後勤輸送軍資。
但隨著漢軍世侯在忽必烈時代走向末路，同時權限過寬的十路宣撫司出現逐漸崩潰、政務廢弛的現象。基於現實考慮，同時為了打破疆域廣闊但是蒙古人人口不足的尷尬局面，防止日後出現各地割據的情況，忽必烈選擇了罷除十路宣撫司作為一級行政機構的設置，沿襲並改造了金代舊制將中書省宰執派往地方掌管某一地區的行政和軍事事務的舊例，調整行省建制以及改變一級行政機構的統治範圍。
忽必烈在進行調整之前的行省官員，更像是兩晉南北朝的使持節和開府儀同三司這類職務，行省還不作為正式的行政區劃。這類中央外派機構常見於少數民族建立的政權，早期元代未常設地方的行省和北魏的行台有些類似，屬於臨時外派的監察機構。
草原統治者在入主中原以前並未受到郡縣的管轄，對於統治邏輯和思想保留著草原風格的逐級負責和統籌管理，外派中央機構，其實對應著在草原上的分封各部落首領，朝廷不直接管轄到基層，只需要負責管理基層的官員對中央負責，這也是明太祖朱元璋曾指出的元代基層管理混亂的問題根源所在，所謂「元失於寬」即是對於基層的管理有些無力，但行省制度的確立，對於控馭較大的地方勢力，仍有很大的積極意義。
元世祖常設置「行中書省」與遏制地方「山河形便」
行省架構的調整：雙重性質顯現
忽必烈要將行省保持原有外派機構形式的同時，要增加常設地方行政區的性質，必須將原有的權力架構重新洗牌。
一：元廷在決定常設行省的同時，取消了宰執的系銜，並降低行省官員的品級，以平章政事為長官，以中央官員執掌地方政事。
《元史》載：
「 中統、至元間，始分立行中書省，因事設官，官不必備，皆以省曹出領其事。其丞相，皆以宰執行某處省事系銜。其後嫌於外重，改為某處行中書省。凡錢糧、兵甲、屯種、漕運、軍國重事，無不領之。 」
忽必烈的調整並沒有減少原本外派中央官員的職權，在常駐之後反而在某種程度上有所增加，但並未改變其中央外派機構的性質。
二：罷除各地行樞密院，併入行省
元世宗初年，行樞密院遍布全國，所謂樞密院「秩從一品，掌天下兵甲機密之務。凡宮禁宿衛，邊庭軍翼，征討戍守，簡閱差遣，舉功轉官，節制調度，無不由之。」在此時，為了簡化中央通達地方的行政機構，並加強行省制度地方最高行政機構的性質，忽必烈選擇了將江南等地的行樞密院併入行省。
這些舉措使得行省在保留中央派出機構的同時，也有地方最高行政機構的色彩，有元一代，行省官員始終都屬於中央內任官，行省作為地方常設一級行政的架構也逐漸開始形成。
管轄區域的調整：地形相制
元代之前，歷朝對於一級行政區轄區的設置莫不依照「山河形便」的特點來設置，這樣設置的好處在於方便基層到一級行政區的管理，有濃烈區域性的特徵，但與此同時，將各地的天險劃歸一級行政區管理，也給了一級行政區官員割據自雄的資本。
蒙古人在人口上本就處於劣勢，如果對這種情況視若無睹那無異於慢性自殺。於是，在忽必烈的調整下，一級行政區以往的轄區範圍被徹底打破，行省的轄區範圍以軍事控制為根本被重新設置，形成了各省之間互相制約的局面，比如：
河南江北行省：統轄黃河以南、長江以北的地界，黃河上游千里防線難以自守，黃河下游又與元朝的中書省隔沂蒙山為界。歷史上劉宋在攻取河南後轉向陝西而不進攻華北平原，沿黃河防線防守，不久伊洛地區就為拓跋嗣所攻占。元代的河南江北行省正是基於此劃定轄區，使得南方為北方所控扼，喪失了割據的能力。
四川行省：作為割據聖地的四川有一個很重要的依仗，則是漢中平原，而如果四川盆地失去了漢中平原的北門戶，則無論從北、或是從東都難以自守。也因此，元廷將歷來歸於四川地區管理的漢中地區劃歸陝西行省，剝奪了從來屬於四川的防禦優勢，山河形便也自此瓦解。
這樣的例子在元廷行省轄區設置中比比皆是，主要體現為——山河相制、以北控南。在這之後，行省官員失去了關門自治的地理條件，極大的推動了中央集權。
元世祖借「行省」營造內部的權力分立與軍隊的統、領分化
群官圓署與種族交參下的政治制衡
元人趙天麟曾經評價行省制度：
「今立行省於外，維持錯綜，眾建其官，有諸侯之鎮而無諸侯之權，可謂於審力之形矣。」
行省作為元代的一級行政機構，其權力遠超前代的一級行政機構，因此趙天麟評價行省為有諸侯之鎮，而無諸侯之權，這是因為元朝採用了群官圓署制和種族交參制。
所謂群官圓署制則是採用會議形式議事的形式，元朝的行省官員通常由左丞相、平章、右丞、左丞、參知政事等六、七人組成，官員常常是蒙古人、色目人、漢人交參任用，以此來達到相互制衡的目的。
但同時，為了在制衡之中保持政府的辦事效率，元朝在行省上將部分軍事、財稅管理專官提調，其行省長官雖然多是怯薛軍勛貴出身，但同時也要受到其他官員的牽制與制衡，更無法將軍事、財務集於一身。這些舉措保證了中央對於行省權力的集中。
軍隊的屬性：統屬、調動分權下的軍事制衡
行省機構在元代，並不是單純的政治機構存在，它也有著很強的軍事職能。行省機構在元代軍隊中負責統屬漢軍以及新附軍（南宋降軍的編制沿用），而元代的軍隊類似於行省既作為中央外派機構同時也是地方常設機構，元軍其實也並非是傳統的按照地方或者中央劃分。
元代軍隊分為宿衛軍和地方鎮戍軍這兩類，《元史·兵志·宿衛》中記載：
「元制，宿衛諸軍在內，而鎮戍諸軍在外，內外相維，以制輕重之勢」
由怯薛、侍衛親軍組成的宿衛軍，即是所謂「在內」的中央軍隊；而在各地執行鎮戍任務的蒙古軍、探馬赤軍、漢軍及新附軍，則是「在外」的地方軍隊。
元代軍隊中怯薛軍由皇帝直接管轄，侍衛親軍和分成各地的蒙古軍、探馬赤軍隸屬於樞密院，漢軍及新附軍隸屬於各行省，宿衛軍和鎮戍軍中的蒙古軍、探馬赤軍當屬於中央軍隊。地方鎮戍軍中的漢軍及新附軍，因行省具有的朝廷派出機構和地方一級行政機構的雙重性質，歸屬於行省管轄的漢軍、新附軍並不單純作為地方軍看待，朝廷對其軍隊具有直接管轄權。
而且行省的軍隊操練、調動作戰互不統屬，行省並沒有職權獨立行使其軍權，只能通過授受中央的命令才可以調動。而元廷對於各行省提調軍馬官員的金虎符發放和使用也是很謹慎，程序十分繁雜。當行省丞相一度廢罷，平章政事二員並為行省長官時，朝廷又特地給行省平章政事頒賜金虎符，再確定「提調軍馬」的權力。
元廷一直在極力規避行省官員以及管轄軍隊的統屬關係固定化，滅宋名將畏兀兒人阿里海牙在平宋之後兼領湖廣行省左丞相的行省官職，在任期間縱兵殘害民間，引發了元世祖忽必烈的不滿，隨即一紙調令強迫阿里海牙手下的軍隊換防江淮。而在後來元成宗元貞二年（1296年），元廷也多次批文重申：「諸行省非奉旨毋擅調軍」。
在行省中，除了禁止擅調軍隊，行省官員在軍官、士兵的刑罰上權力也不大，《元史》載「軍官犯罪，行省咨樞密院議擬，毋擅決遣」 ，對於軍隊中的刑罰在元順帝放寬政策之前，更多歸屬於元廷的直接把控。元廷也通過分離行省中的軍隊統領權和調動權，加強了對於行省地方的控制。
值得一提的是，元代的行省官員很少發動叛亂，一般都是朝廷說什麼就是什麼，並沒有太大的反抗能力，而其中發生過的叛亂也不過是與元廷內部宗室爭奪皇位有關。
結束語
元代設置行省制度，目的是以軍事控制為目的，武力維持中央在各地的統治。因此元廷也極為注重軍事上以重（中央）馭輕（地方），地理上以北馭南的原則，政治上以內（中央內任行省官員）馭外（地方官員）進行設計，以此在元末元順帝主動選擇放權以前，百年的統治里並未出現諸如唐代藩鎮割據的情況。
在明太祖朱元璋代元建國之後，對於行省制度委任官員的權力進行了更為合理的改組，而行省制度也作為元朝的遺產，直到今日的行政機構的管理中，仍有深遠的影響。