"州牧"一詞出現東漢靈帝時期，其雛形叫刺史。
漢武帝時期，為了加強中央集權，監督地方官吏，將天下分為十三部，派刺史去刺探各部的官僚。這時的刺史只是一個監察官員，每年回京師向皇帝匯報情況。
到了東漢初年，為了加強刺史的監察效果，規定刺史不必每年都回京師，可以派下屬回京師匯報。於是，刺史就演變成地方的常住官員。由於他有監察郡縣官員的權力，覺得著官員的升遷任免，其地方反而超乎郡之上，成為郡守的上司。
東漢社會到了後期，朝政凋敝，官吏腐敗，越來越多的老百姓聚集起來反抗朝廷。為了鎮壓叛亂，皇帝需要聚攏資源和力量形成合力。而集中資源最簡單的辦法，就是將刺史的權力擴大，讓他全面掌管官政、財政和軍政。
辦法是太常劉焉提出來的，他認為，現在的刺史由於權力不夠，而且普遍素質不高，徒增暴亂。所以，應該從好名聲的重臣中選取一些官員，把刺史改成州牧，由這些重臣來擔任。
朝廷採納了劉焉的建議，而劉焉本人也當上了益州州牧。益州州牧在劉焉手中控制了六年，之後傳給了他的兒子劉璋。漢獻帝建安十六年，劉璋為了對抗曹操，引入劉備作為幫手。三年後，劉備取得了益州的控制權，以此為基礎建立了蜀漢政權。
與劉焉同時擔任州牧的還有太僕黃琬，任豫州州牧;宗正劉虞，任幽州州牧。
漢靈帝創造了州牧這個軍閥集團，唐玄宗創造了節度使，他們的目的都是一樣的，因為行陣效率低下、財政開支分散，無法滿足軍事需要，必須在地方上安排一個掌管一切的官員，統一管理財政。
但是"州牧"雖然可以提高行政效率，由於缺乏監管，獨攬大權，一旦出現異心，就是朝廷也拿他們沒有辦法了。
董卓擅權的時候，漢靈帝創造的州牧顯示出了巨大的活力:他們掌握著一個地方全部資源，可以迅速調動資源用於戰爭。袁紹(冀州)、袁術(揚州)、曹操(兗州、冀州)、劉備(徐州、豫州、益州)、劉表(荊州)等，都從地方起家，他們或者親自擔任，或者派心腹代理，但最終的目的都是控制一個地方的所有資源，用於戰爭。
東漢王朝正是在這種巨大的離心力之下走向崩潰。