相信很多人心中的帝王形象都源自於《詩經》中的這句「普天之下，莫非王土；率土之濱，莫非王臣」，總感覺他們高高在上，可以為所欲為。實際上，帝王的權利並沒有想像中大，他們不僅要與以宰相為首的士大夫共治天下，很多時候還受到「相權」的制約。
宰相制度源自於戰國時期的「相府」，形成於秦漢時期。宰相「輔翼國家，典領百僚，協和萬國」，位望極尊、權利極大，以至於朝廷經常出現兩個權力中心，即「皇權」和「相權」。二者之間由於沒有嚴格的分界線，皇權時常受到相權的制約，有時甚至被相權架空。
朱元璋創立明朝後，為防止受相權掣肘，做了一個大膽的決定，那就是廢除宰相一職，仿照宋朝設立「華蓋殿、武英殿、文淵閣、東閣諸大學士」，「特侍左右，備顧問」。
洪武時期，殿閣大學士只承擔參謀的工作，皇帝「自操威柄，學士鮮所參決」。之後內閣權力雖然不斷加重，中後期甚至出現夏言、嚴嵩等權臣，但因皆無善終，內閣始終未能對皇權產生衝擊。
清軍入關後，統治者有感於明朝的滅亡，對朋黨防範甚嚴。同時由於清朝入關前採取議政制，即各部首領共同商議國策，清朝統治者決定沿襲明朝的內閣制，將權力集中在皇帝手中。剷除鰲拜黨羽之後，康熙一度發出「天下大權當統於一」，「今天下大小事務皆朕一人親理，無可旁貸，若將要務分任於人則斷不可行」等感慨。
雍正元年，蒙古和碩特部首領羅卜藏丹津在青海爆發叛亂。叛亂雖然很快被年羹堯平定，但蒙古準噶爾部首領策妄阿拉布坦卻也聞風而動，企圖將蒙古、西藏、青海和新疆分裂出去，清帝國遭到了巨大的挑戰。
戰場局勢瞬息萬變，為了高效處理軍情，同時也為了保密，雍正四年，怡親王允祥、大學士張廷玉、戶部尚書蔣廷錫奉旨在戶部組建「軍需房」，總管軍需事務。
軍機房的產生是臨時性的軍事需要而產生的，但西北用兵結束後，不僅沒有被裁撤，反而在雍正十年變為「辦理軍機處」，鑄造「辦理軍機印信」，從而成為常設機構。
乾隆即位之初，曾以軍機處以「前朝敗政」為由將其裁撤，同時成立以宗室親王為核心的「總理事務處」。總理事務處本質上與軍機處沒有任何區別，兩年後年輕的乾隆皇帝遂又令大學士鄂爾泰重設「軍機處」，並將「辦理「二字去掉，從此正式成為清政府核心權力機構。
軍機處位高權重，卻始終不在清政府正式衙門編制之列，軍機大臣的所有權力均源自皇帝，僅以「秘書」機構的形象存在，「只供傳述繕撰，而不能稍有贊畫於其間」。
軍機處的出現直接導致皇權專制被清政府發展到了一個極端的狀態，但這卻是個意外的結果。皇權專制是清朝入關後的重要決定，軍機處成立之前，雍正因繼位的合法性問題受到多方威脅，而採取強硬手段將權力高度集中在皇帝手中。
其實雍正並不需要軍機處來加強皇權，只不過在處理臨時軍務時，但雍正卻發現了軍機處作為「秘書」機構的好處。正如乾隆皇帝曾說：
「乾綱獨斷，乃本朝家法。自皇祖皇考以來，一切用人聽言，大權從未旁假。即左右親信大臣，亦未有能榮辱人、生死人者。蓋與其權移於下，而作威作福，肆行無忌，何若操之自上，而當寬而寬，當嚴而嚴。此朕所恪守前規，不敢稍懈者。」
可即便皇帝如何勤政，心力體力總是有限的，康熙晚年諸事均以「寬仁為尚」，蓋因力不從心，無法面面俱到。雍正費勁千辛萬苦才將大權獨攬在手中，又怎肯下放給議政大臣和內閣學士，軍機處的出現正好破解了這一難題。