1077年，亨四脱下王袍，带着老婆孩子和几个随从，顶着风雪翻越阿尔卑斯山脉的塞尼山口，来到了意大利北部的卡诺莎城堡。因为他知道教皇在这里。他以为教皇是故意躲着不见他，其实是教皇听说亨四带着人来找他，以为是找他报仇干仗的，所以他溜到卡诺莎堡躲避。
卡诺莎堡对亨四紧闭大门，亨四脱下衣服，披上了一件忏悔袍，光着脚，站在卡诺莎堡的大门外，泪流满面地请求教皇的饶恕。这是当年的1月，意大利北部正是严冬，积雪覆地，寒风刺骨，就是这样的天气下，亨四在门外站了三天三夜，据说还带着他的老婆和两岁的儿子！
这就是历史上著名的“卡诺莎之辱”，当然是指亨四受到的欺辱。好在虽然是被辱，但目的达到了，第四天，教皇开门了，接受了亨四的道歉和认错。看着跪在自己面前的德王，教皇非常得意，终于等到这一天了，终于把这帮人收拾服帖了，以后，还有谁敢挑衅教皇至高无上的尊严和权力！
咱家曾有韩信受辱胯下的故事，以退为进，敢于吃眼前亏其实是一种大智慧。亨四回到德意志，关于他如何卑躬屈膝、狼狈不堪祈求教皇原谅的故事，已经被教皇和他的手下添油加醋艺术加工了好几个版本遍传江湖，整个西欧，差不多连种地的农妇都知道德意志国王在雪地里的这场遭遇。而最可恨的是，那些拥立了新国王的诸侯们，并没有因为亨四恢复了教籍而停止反叛，他们说亨四悔悟太迟了，教皇能原谅他，诸侯们不原谅，况且，他们已经有了自己的国王了。
好在亨四毕竟是正统，大部分的诸侯出于自己的利益考虑，也不想让那个什么鲁道夫之类的成为新王，而德意志的百姓更是觉得，亨四以国王之尊，差点冻死来忏悔错误，怎么就不依不饶呢，于是亨四这边很快也有不少支持者。亨四现在满腔的忧愤啊，他不报仇都不能活了，于是德意志内战开打了。
教皇是叛臣一边的，亨四回去后就组织人马跟叛臣干仗，显然是认罪不彻底啊，教皇劝他停手，亨四不从，教皇大怒，1080年，再次破门律。支持亨四的德意志教会这次也很快做出反应，再次宣布罢黜教皇！这一次，教皇的目的没达到，德意志本地的主教都和亨四站在一起，不久，王军镇压了反叛，那个被推立的鲁道夫国王战败，失去一只右手后死去。
