但这摄关“政治”只是按时令不同例行不悖地举办宫廷仪式（年节风习事宜）以及宫廷内不断发生的阴谋与暗斗而已。他们的权势之争主要的就是为了更多的接受捐献的庄园，更多地捞取公领地的收益以及自身享受荣华，至于国事和公共事业，不管是天皇，还是摄关家及其他贵族，都是毫不关心的。例如，藤原道长时的1019年（宽仁三年）西伯利亚滨海州地方女真族的一派刀伊人侵袭北九州时，还是当地的武士们把他们打退的，藤原道长并未付以任何强烈关注，也无任何责任感。
与中央政府完全不理政事一样，地方上也无贵族理政。国司“遥任”正如上所述，在摄关政治时代，还制定了称做“知行国”的制度，即在一定年限内将特定国的收益授予皇族与高级贵族。捞到“知行国”的就派自己的心腹部下任该国的国司，掠夺管辖下的人民。有时还有这样的例子，即任命个什么“和歌浦波”或“敷岛大和”等捉弄人的虚构人物为国司。这样一来，人们就不再按照国司这一官职名的原义称其为国司，而是单纯把他称做“领取”即领取该国的收益者来称呼他了。
以摄关家为首的贵族们成了不折不扣的社会寄生者。他们以其榨取的财富营建豪华的邸宅和兼做别墅的壮丽的寺院，日夜沉湎于游乐飨宴。但因他们并未亲自开拓新的生产关系，也未创建新的统治机构和武装，因此，其荣华的基础是不稳的。在地方上领主与名主阶层虽组织了农奴式的生产关系，并实际统治着群众，但还没有作为一个单独的阶级广泛而坚强地联合起来。也正因为他们是一个地区、一个地域的孤立与分散着，所以天皇和贵族们才得以维持其权势。
源氏与平氏的兴衰与僧兵
但历史不停地在前进。在藤原氏全盛的11世纪前半期就有若干事例记载说，尾张、近江、丹波、但马、河内等的“百姓”即名主们不像以前那样听郡司的调遣了，而是自己团结起来与国司斗争，或者是集体向中央政府告状，或是反抗庄园领主增征贡赋等。这意味着他们自己开始意识到他们自己的力量。源氏和平氏的首领们就是把这样的百姓们组织成武士团，以扩张势力，而成为“武家栋梁”的。
在东国，自平将门之乱，平氏力量减弱，源氏兴起。特别是从公元1051年到1062年，源赖义镇压了奥羽的豪族安倍氏的叛乱（前九年之役），接着公元1083—1087年，源赖义之子源义家（八幡太郎）消灭了同是奥羽的清原氏（后三年之役）。但他们的兵力是由他们的领地及其他依赖于他们的出身于名主的武士们组成的。而且，在这两次战役之后，源氏在东国的权威增高，各国的名主与领主向源义家捐献土地以接受其保护的也增多了。另外，以伊贺与伊势地方为根据地的平氏一派也逐步将近畿直到西国地方的武士归并到他们的势力之下。
各阶级和个人开始要诉诸实力了。靠实力解决问题的倾向起自社会的最低层并逐渐扩及社会上层。以奈良（南都）的兴福寺和俯瞰京都的比叡山（北岭）的延历寺为首的南都北岭的大寺院也都镇压了各自庄园的百姓们的反抗，或是为了对抗国衙，从10世纪后半期开始就组织了自己的武装“僧兵”。京城的贵族们，仅靠他们的门第和官职权威已不足以安居无恙了。他们当中遭到地方领主与名主阶层反抗的“领取”们（即国司们）对高踞于庄园的“本所”，对庸碌无为而又从中私吞财物并沉溺荣华的摄关家也不温驯了。
