但是,这次葬礼恐怕也是杨素在隋文帝一朝得宠的巅峰了。因为就在此后不久,杨素在隋文帝心目中的地位就下降了。为什么呢?有人弹劾他了。谁呢?大理卿梁毗。
就在仁寿二年(602),梁毗上书隋文帝,说:
臣闻臣无有作威福。臣之作威福,其害乎而家,凶乎而国。窃见左仆射、越国公素,幸遇愈重,权势日隆,?
绅之徒,属其视听。忤意者严霜夏零,阿旨者膏雨冬澍,荣枯由其唇吻,废兴候其指麾。所私皆非忠谠,所进咸是亲戚,子弟布列,兼州连县。天下无事,容息异图,四海稍虞,必为祸始。夫奸臣擅命,有渐而来。王莽资之于积年,桓玄基之于易世,而卒殄汉祀,终倾晋祚。季孙专鲁,田氏篡齐,皆载典诰,非臣臆说。陛下若以素为阿衡,臣恐其心未必伊尹也。伏愿揆鉴古今,量为外置,俾洪基永固,率土幸甚。轻犯天颜,伏听斧锧。
什么意思呢?梁毗讲,我听说臣子,是不允许作威作福的,如果一个国家,允许臣子作威作福的话,那么必定天下大乱。现在我们国家,有没有哪个大臣作威作福呢?有啊,就是越国公尚书左仆射杨素,他倚仗陛下的宠幸,权力已经大得没边了,所有的官员都要看他的脸色办事。如果他喜欢的人,对人家像春天般温暖;他不喜欢的人,就像秋风扫落叶一样无情。所以我们整个官僚系统,从现在都是受他的指挥。因此我觉得,这样下去,有一天他会走上奸臣、权臣的道路。希望陛下能够预先留心到这一点,鉴古知今,不要再给他这么大的权力,我知道我这话不中听,说出来也许您不喜欢,但是为了国家利益,我万死不辞。这是梁毗的这一番高论。
要知道,当时杨素可是炙手可热的人物,首席宰相,梁毗这样说,不是找死吗?果然,隋文帝大怒,马上把他抓了起来,亲自质问他,怎么可以如此诽谤大臣。
没想到,梁毗毫不畏惧,当面对隋文帝说:
素既擅权宠,作威作福,将领之处,杀戮无道。又太子及蜀王罪废之日,百僚无不震悚,惟素扬眉奋肘,喜见容色,利国家有事以为身幸。
你审我吗?我不怕你审,我这些意见就是要当面跟你说出来的,我确确实实认为杨素是一个作威作福之人。我有充分的证据,证据是什么?陛下,请您想一想,当年您废掉太子杨勇和蜀王杨秀的时候,我们这些大臣,谁不是觉得陛下家里出了这么大的事情,是一件非常让人震惊、让人恐慌、让人难过的事?可是唯独他越国公杨素,表现得是一副扬眉吐气、很得意的样子啊。为什么啊?他是盼着国家有事,好抬升他自己的地位啊?陛下,这难道是一个忠臣应有的行为吗?梁毗这一点,说得太厉害了。
这番话一说出来,隋文帝真是傻在那里了。确实,此前隋文帝一直觉得杨素是在忠实地执行着自己的命令,替自己把两个不肖子都除掉了,所以才把杨素视为心腹重臣。如果按照梁毗的说法,杨素有个人野心蕴涵在里头,那自己岂不是成了给杨素做嫁衣裳吗?这让隋文帝不寒而栗。