不等高颖说完，隋文帝就生气了，说：“我有时出巡，卫士应选勇敢的人，太子坐在东宫，需要什么壮士？我知道前朝的旧事，你不必多说了。”
隋文帝的意思是说，我知道你的儿子娶了杨勇的女儿为妻，你不必徇私袒护太子了，隋文帝的话使高颖很难堪。
高颖夫人死后，独孤皇后故意对隋文帝说：“高仆射年老了，今丧夫人，陛下应该为他续娶一个。”
隋文帝觉得有道理，劝说高颖续娶，高颖辞谢道：“臣已老，以后退朝只是斋居读佛经而已，感谢陛下关爱，续娶非臣所愿。”
隋文帝见状，就不再强劝。不久，高颖生下了一个儿子，隋文帝很高兴，独孤皇后却不高兴，她对隋文帝说：“陛下还相信高颖吗？当初陛下想为他续娶，高颖心存爱妾，欺骗君主，怎能再相信他。”
隋文帝转念一想，觉得很有道理，从此不再相信高颖。
不但独孤皇后陷害高颖，杨广这边也加紧了陷害高颖的步骤。
公元599年9月，隋文帝审查王世积案，竟得出了高颖与王世积勾结的结论。隋文帝接报后，立马免去高颖上柱国、左仆射的职务，但是仍保留齐国爵位，回到府中赋闲。杨坚不知道，这是杨广的阴谋，他知道高颖是杨勇的后台，所以暗中买通狱卒，制造伪证，陷害高颖。
杨广见没有整死高颖，还不罢休，继续伺机陷害。
不久，杨广又唆使高颖府内的国令上书，诬蔑高颖的儿子高表仁劝慰其父说：“司马懿当初称病不朝，终于获得天下，父亲今和当年司马懿遭遇一样，焉知非福。”
隋文帝看了上书之后，怒从心头起，马上命令抓捕高颖，交内史省审问。杨广早已买通内史省官员，几天后，内史省官员向隋文帝报告审查结果，称有人对高颖说：“明年国有大丧。”“十七、十八年，皇帝在大厄，十九年不可过。”
当年正好是开皇十九年，隋文帝听到这个消息后，气得差点昏了头。对群臣说：“帝王岂可力求，孔子以大圣之才，还不能得天下。高颖与儿子谈话把自己比作晋帝，居心不良呀。”
有人请求杀高颖以谢天下，隋文帝说：“我这一二年杀了好几个大臣，今年又杀，天下人会怎么看我？”于是将高颖削职为民。
除此，杨广还很倾心结交其他掌权的大臣，厚待他们，以致大臣都说杨广人品很好。
一次，隋文帝密令善观相的来和，暗中观察诸子的面相，来和看完后，眯着眼对隋文帝说：“晋王（杨广）眉上双骨隆起，贵不可言。”
隋文帝又问上仪同三司韦鼎：“我的儿子中哪个可以登大位？”
韦鼎也暗示是杨广。隋文帝听罢，若有所思地点点头。
