文觉目睹此象，发大愿要加以修葺，于是捧着化缘簿，向十方檀越[1]劝化布施，广求众人喜舍。有一天，他来到后白河法皇经常出入的法住寺，决心要入寺请求法皇协助。
他来拜访时，正逢寺内的管弦乐会进行至最高潮，因此吃了闭门羹。不过，文觉的个性向是不达目的绝不罢休，于是甩开阻止他的侍从们，大步闯入。
进入后，正见琵琶名手妙音院师长边弹奏心爱的乐器，边吟唱歌曲，按察大纳言资贤则唱着“催马乐”[2]，右马头资时与四位侍从盛定等人，也取六弦琴高唱当时流行的今样，法皇亦打着拍子唱和，大家兴高采烈，欢唱到忘我境界。
文觉的大嗓门引起一阵动乱，众人皆怒不可抑地嚷嚷着：
“圣旨下，还不速退！”
文觉也不甘示弱，怒目相对：
“如果法皇不赐给高雄神护寺一座庄园，文觉就一直待在这里，不移动半步。”
以力大闻名的信浓国住民安藤武者右宗出现，顷刻间，两个彪形大汉便翻来滚去，揪打成一团。然而两人都力大无穷，一时之间难分轩轾。
“把这个可恶的法师监禁起来！”
文觉就此锒铛入狱。
他在狱中也全然不听差役的话，常常大声嚷着：
“啊，真是可悲啊！天下即将大乱，君臣尽皆灭亡啊！”
净说些不吉利的话，人们便称之为“惑乱人心的恶僧”。于是被流放到遥远的伊豆国。
文觉被判交源赖政管理，由赖政的嫡子伊豆守仲纲负责押送伊豆国。一行人由东海道坐船，出发时派了三位检非违使厅的差役押送。其中一人在文觉耳际窃窃私语。
“喂，和尚，一切事情都有正反两面。我们要到遥远的伊豆国应该要准备土产带给那里的熟人，也要带着路上自己所需的粮食。你有没有可以乞求这些东西的熟人呢？我可以充当你的使者去取回。”
[1] 佛教称来自各地的善男信女。
[2] 流行于平安中期，取材自各地民谣、和歌，并将其雅乐化的歌曲形式。
