另外，梁毗所说的臣子作威作福，必然危害国家，这也是隋文帝衷心认同的观点。把这两个因素加在一起，隋文帝对杨素的印象也就发生改变了。按照《隋书·杨素传》的说法，就是"上渐疏忌之。"渐渐地疏远猜忌他了。
怎么叫疏远猜忌呢？隋文帝下敕给杨素说：
仆射国之宰辅，不可躬亲细务，但三五日一度向省，评论大事。
仆射啊，你是我们国家最重要的大臣，你怎么能去操心那些鸡毛蒜皮的事呢？以后你不用每天去上班办那些小事了，你三五天上一次班，大事你管一管，就可以了。
这叫什么？"外示优崇，实夺之权也"。你想，国家哪有那么多大事要办啊，人的权威是怎么奠定起来的，是从日常工作中奠定起来的，现在隋文帝等于剥夺了杨素，办理日常事务的权力，剥夺了他上班的权力，三五天你看看就可以了，那实际上，他真正能管的事情，就很有限了，这是从杨素手里收权啊。
树功绩文帝为圣主
笔者认为，无论如何，应该承认，隋文帝是一位建立了丰功伟绩的皇帝。隋文帝有什么样的丰功伟绩啊？
第一个最伟大的功绩当然是统一。开皇九年（589），隋文帝平定江南的陈朝，重新统一全国，这是中国历史上继秦朝统一之后的第二次大统一。这次统一意义太重大了，不光标志着南北两部分地域合为一体，还标志着北方"永嘉之乱"后历时三百年的民族融合的完成，真正做到了地无分南北，人无分夷夏的大统一。
什么叫做地无分南北，人无分夷夏？只要看看隋文帝这个第一家庭就明白了。杨坚是什么人？他是汉人，而他的皇后独孤伽罗则是鲜卑化了的匈奴人，这两个人的结合，其实就叫人无分夷夏。
再看他们的接班人太子杨广，虽然出生在关中地区，却偏偏喜欢吴侬软语，还娶了一个出身后梁皇室的萧氏做妃子，这就叫地无分南北。
隋文帝这个家庭其实也是当时中国的一个缩影，也是我们今天统一多民族国家的基础。建立这样一个统一的多民族的中国那真是怎么评价都不为过的。
第二个丰功伟绩是建立了一系列影响深远的制度。什么制度呢？政治方面是三省六部制。三省制的核心是什么？一句话，皇帝集权，宰相分权。这当然符合中国古代政治发展的大方向，所以唐朝直接沿用，影响力则一直达到清朝，这是政治方面。
文化方面最伟大的制度创举当然是科举制。科举制的精髓是什么呀？不就是英雄不问出处嘛！这个原则太伟大了。
首先，有才华的人可以依靠个人本领，而不是家族势力出人头地了，平民家的才俊子弟可以和门阀士族的孩子一样当官了，这就意味着社会的公平。
