豪门士族，就这样上欺皇帝，下压寒门，成了谁也碰不得的“精英阶层”。他们夹在社会分布的中间一层的处境其实是很扎眼的，皇权和民众与士族的关系就越来越紧张。
在唐朝初年，士族高门在社会上的地位有着举足轻重的影响，尤其是博陵及清河崔氏、陇西及赵郡李氏、范阳卢氏、荥阳郑氏、太原王氏等五大姓氏，形成了一个庞大的力量体系。曾经为了打击这些有势力的旧士族，太宗李世民就下令修改过《氏族志》，规定李唐皇族为第一等，长孙氏等外戚后族为第二等，原有的士族高门为第三等。为了淡化曾经旧有的那种门阀制度，太宗还要求王子娶妃、公主出嫁都尽量选取功臣的后代，而不选高门士族。但是说归说，其实魏徵、房玄龄和李勣等人还是向高门士族求婚，因此那些士族还是很有一定威望的。就连李治的那个王皇后，也是太原王氏的女子。
在高宗的一系列关于士族的整治下，旧的士族非但没有受什么损失，反而新的士族又壮大了起来。以长孙无忌为代表的关陇贵族群体就是这样的。仅以长孙无忌为例，家族中有多人官居四品以上，儿子皆任要职，族中子弟乃至族孙也都荫袭不断。一门高官数十人，遍布京华与各地。
这个集团中的头面人物，彼此又都是亲家，长孙无忌与韩瑗、来济、于志宁、柳奭都有联姻。亲戚之外，还有门生故旧。那些在朝廷中举足轻重的大员，只要查一查背景，都有谱系，都有渊源。国家虽有号称选贤任能的选官制度，其实那只是在更大的不公平之下所施行的一点小公平。
他们把这个社会通往上层的渠道完全占领了，寒门出身的人想要走上这条路，不结交一些士族中的人为他们说话，是怎样也行不通的。可是对于士族来说，只要是他们的子弟、他们的裙带，那就在仕途这条路上畅通无阻，有恃无恐。这士族之间，也是一荣俱荣，一损俱损的关系。
武则天在从政之初，对于门阀的情况已经深恶痛绝，因为这不仅威胁到了李治的皇帝尊严，更使朝廷乌烟瘴气。她决定必须先革了这个可恶的门阀制度。
她把自己的想法跟高宗说了，李治很是赞成。于是，根据许敬宗一干人的请求，李治下诏命礼部司郎孔志约等庶族出身的官员来负责参与修改《氏族志》。
这一举措，可谓是大张旗鼓。首先，《氏族志》被更名为《姓氏录》，这是为了淡化门第观念。它排列的顺序是按在朝廷任职高低的标准。从名字上看，这已经与《百家姓》很接近了，因为它仅仅强调的是“姓”，而不是“族”。 李治亲自为该书写序，并且规定了类例。就在这本书中，皇族和后族为第一等，只要是五品以上的官员，不论出身门第如何，一律进入士族行列。这样，便彻底颠覆了早期的门第旧观念，很是得一部分有真才实学而出身平平的大臣们的拥戴。
