雖然腓特烈二世是被教皇撫養長大的，但是教皇不過是把他當成了政治工具，使他對教會並沒有好感，於是他在奪回德意志統治權後，雙方矛盾爆發。最初是因為腓特烈二世沒有重視第五次十字軍東征，當東征失敗時，他們就把責任歸結到腓特烈二世的不負責任上。1225年，腓特烈二世通過政治婚姻取得了耶路撒冷王國國王的頭銜，極大地增強了他的實力，教會對此更加不滿。1227年，新教皇格里高利九世繼位，他要求腓特烈二世發起第六次十字軍東征，但是腓特烈二世在東征途中遇到了瘟疫而返回，結果遭到了格里高利七世的斥責，並被開除教籍。
格里高利九世針對腓特烈二世的意圖非常明顯，但腓特烈二世還是繼續出發東征了，這次東征是他的個人行為，沒有得到教皇的支持，並且因為他無教籍而導致沒多少人跟隨他一起東征，但腓特烈二世卻奇蹟地與穆斯林進行了議和，雙方簽訂了《雅法和約》，腓特烈二世的十字軍取回了許多丟失的領地，包括耶路撒冷。但格里高利九世又開始挑刺了，指責他沒有用武力奪回這些地方，矛盾徹底爆發了。
格里高利九世總共向腓特烈二世發起了三次進攻，但三次都以失敗告終。第一次是在腓特烈二世東征回來之前，格里高利九世對腓特烈二世最關心的西西里王國發起了進攻，直接導致腓特烈二世從東方回來保衛西西里，教皇的軍隊很快就被腓特烈二世擊退。第二次時，格里高利九世與腓特烈二世的兒子海因里希七世共同進攻腓特烈二世，海因里希七世只是想奪得他父親的王位而與教皇聯合，但還是以失敗告終，海因里希七世也被囚禁起來，並被剝奪了繼承權。第三次時，格里高利九世聯合了「倫巴第同盟」，這個同盟曾三次擊敗紅鬍子腓特烈，但是腓特烈二世在科特努瓦戰役大敗倫巴第同盟，並占領了羅馬，取得了完全勝利。
1250年，腓特烈二世去世，導致德意志開始呈現出分裂狀態，各地諸侯都躍躍欲試，王權能夠控制德意志各諸侯的時代已經過去了，數百年的分裂時代開始了，而且分裂狀態將愈加嚴重，直到普魯士在1871年統一了德意志，德意志的分裂局面才宣告結束。德意志的分裂，有一定的歷史因素，從奧託大帝統一德意志開始，德意志內部的諸侯和國王就時常對立，只不過這一時期的王權還很強大，但是腓特烈二世的政策是導致德意志分裂的主要原因。腓特烈二世非常忙於西西里和義大利的事務，而德意志的事務交給了各諸侯處理，德意志諸侯獲得了極大的自主性和權力，導致德意志的王權被削弱，腓特烈二世去世後，各諸侯都手握實權，對王位虎視眈眈，也不願被國王所控制。腓特烈的兒子康拉德四世於1250年繼位，康拉德四世繼續將重心放在義大利和西西里，但是他在1254年就去世了，此時康拉德四世的兒子康拉丁僅兩歲，康拉德四世死後，霍亨斯陶芬王朝的統治結束，德意志迎來了分裂的開始，即大空位時期。
在大空位時期，德意志諸侯的權力和自主性空前加強，王權被削弱至極，這時候的國王毫無權力可言，根本就是諸侯們的一個傀儡罷了，各諸侯都想利用這個傀儡皇帝為自己謀取利益，這一時期的王權崩壞導致德意志始終未能出現一個強有力的集團將分裂的德意志統一起來。大空位時期可以看作是神聖羅馬帝國歷史上衰落的轉折點，在霍亨斯陶芬王朝及之前，神聖羅馬帝國及其皇帝都是歐洲大陸上的主要力量和權威，大空位時期開始後，神聖羅馬帝國及其皇帝變成了一具空殼，一個四分五裂且諸侯林立的神聖羅馬帝國，一個毫無權力僅為虛位的神聖羅馬帝國皇帝，變成了伏爾泰口中的「既不神聖，也不羅馬，更不帝國」。後來長期掌握神聖羅馬帝國皇帝稱號的奧地利哈布斯堡王朝，實際上只能控制奧地利公國，特別是三十年戰爭以後，德意志的分裂局面更加嚴重，人們更願意用奧地利大公來稱呼奧地利統治者，而不是神聖羅馬帝國皇帝。
大空位時代最終以奧地利的魯道夫一世加冕為神聖羅馬帝國皇帝為結束標誌，但魯道夫一世的無權弱勢也只能證明其是一個政治傀儡，德意志各諸侯最終確立了以七大選帝侯為核心競選王位，其中奧地利的哈布斯堡王朝實力最為強大，在後來的發展中，奧地利成為了德意志最強大的公國，一直把握著帝位。由於長期處於分裂狀態，德意志在發展上落後於英國和法國，當時的英法已經逐漸形成了一個統一的國家，分裂狀態更導致了三十年戰爭在德意志領土上開戰，這場戰爭給德意志人民帶來了沉重的災難，所謂的神聖羅馬帝國也僅剩下名號了。