宪宗皇帝和几位文臣的做法得罪了宦官不假，但是宦官势力再大，毕竟上不了台面，表面上的事情还是宰相说了算。当时的宰相是谁呢？是赵郡李氏的李吉甫。为什么强调李吉甫是“赵郡李氏”，这几个字有点来头。
从两晋到隋唐，是非常讲究门阀的。那些有传承、有势力的门阀大族往往底蕴深厚，连皇族都不能与之比肩。比如东晋的王谢两家就是世代簪缨，任凭改朝换代，他们都岿然不动，稳稳占据士族圈子。
尽管唐朝自开国以来，几位君王一直在想方设法打压门阀势力，提拔新兴贵族，但那些世家大族并没有被雨打风吹去，依然坚挺。在大唐，有一种“五姓七望”的说法，即五种姓氏、七处望郡，这些家族都是当朝最负盛名、最有实力的所在。
“崔、卢、李、郑、王”是为“五姓”，但不是所有姓崔、姓李的人都是名门望族。有了高贵的姓氏，还得出身望郡，才算得上货真价实的贵族。当时的人提到卢氏说的必定是范阳卢氏，其他地域的都不算；郑氏也单指荥阳郑氏；天下姓王的人何其多，但只有太原王氏才是正宗；崔氏家族就分清河崔氏和博陵崔氏两支；李氏家族除了出身皇族的陇西李氏之外，剩下的一支就是传统的赵郡李氏。
李吉甫是赵郡李氏的嫡系子弟，其父李栖筠是历经玄宗、肃宗、代宗三朝的高官，名望显著。李吉甫步入政坛也是借了家族的余荫，在德宗一朝担任太常博士一职。
李吉甫这个人出身好，又很有能力，所以升官的速度很快。到了唐宪宗元和二年，他经过多年的政治积累，已经成为当朝宰相。李吉甫的政治立场很明确，希望在有生之年将威胁唐王朝命运的两大毒瘤——专权的宦官和割据的藩镇一一治理。出身世家的李吉甫一直在有策略、有步骤地向着自己的理想迈步。在朝堂之上，他坚决主张削藩，加强中央集权，赢得朝野上下的一致认同。对于近在咫尺的庞大的宦官势力，他却按兵不动。他知道以自己目前的实力还不能和宦官集团抗衡，那就先忍着，什么时候力量足够强大了，再学习东汉的士大夫们，对骄奢的宦官们来一场彻底的大清洗。
这么一个有远大理想和抱负的人，肯定是极为自信的人。可是一个人一旦身居高位，缺少强有力的约束，自信很容易膨胀为自负或者变得刚愎自用。元和三年的几位考生为了脱颖而出，绞尽脑汁地列举朝廷的过失，让李吉甫这位当朝宰相十分不满。
这几个考生列举的宦官专权、民生凋敝、当权者炽于武功等过失不就等于在说他这个宰相当得不称职吗？李吉甫最不能容忍的就是别人质疑自己的执政水平，所以对牛僧孺这几个考生的文章和为人都极为不满。
不过，还没等他有所表示，皇上就下令给这几个“口出狂言”的书生升官了。打脸，赤裸裸的打脸啊，是可忍孰不可忍。宰相虽然位高权重，但也不能随意否定皇帝的旨意，为此，李吉甫想到了“以情动人”“以理服人”的双管齐下的妙招。
