杨约认为言之有理，答应去说服杨素。宇文述走后，杨约马上去见杨素。杨约陈明利害关系后，杨素又深表赞同。
杨约又趁机说：“今独孤皇后的话，皇上无不听，宜寻找机会，利用独孤皇后搞掉太子，这样就可长保荣禄，传祚子孙，兄如迟疑，一旦有变，令太子掌权，灾祸就不远了。”
杨素认为很有道理，心想，现在杨广兵权在握，文帝又日渐宠信；而太子杨勇虽忠直但无兵权，且逐渐失爱于文帝与皇后，自己何不顺水推舟，乘机捞好处呢？他听完兄弟杨约的劝告，不仅满口答应，并且表示立即行动，尽力效劳。
没过几天，杨素便乘入宫侍宴之机，对独孤皇后说：“晋王孝悌恭俭，很像文帝。”
皇后听后，也发出一句感叹，说：“对呀，此儿很孝顺，每次听到他父皇与我派内使到他那里，必到城外迎接，说到与父母的分别，总是伤心流泪。他又十分怜爱新妇，我派婢女去，见他常与新妇同寝共食，哪像杨勇那个畜生，终日与那个阿云对坐，饮酒作乐，溺爱小人，仇恨兄弟骨肉，我真害怕阿麽被他害了。”杨素又乘机诽谤太子种种不肖之举，皇后听了，更加坚定了她的废立之愿，并让杨素劝文帝行废立之事。
紧接着，杨素便在朝官中大肆活动，到处宣扬杨广，诋毁杨勇，并唆使一批身边奸佞党徒，向文帝面奏废立之事。真所谓天怒人怨，闹腾得满城风雨，杨勇的太子地位危在旦夕。
杨广收买杨素之后，又施展“离间计”，收买了杨勇的幸臣姬威。姬威是个奸佞之徒，尽管他很受太子的宠信，但看到杨勇失宠，杨广得势，便一头投入杨广的怀抱，卖主求荣，当了杨广的忠实走狗和密探。他把杨勇的一举一动都密告给杨广和杨素，为杨广篡夺太子之位立了大功。
这时，朝中还有高颖站在杨勇一边。随文帝曾对高颖说：“有神告晋王妃，说晋王以后会得到天下，卿的意见如何？”
高颖听后，说：“长幼有序，怎么能随便废长立幼呢？”
杨广听说之后很恼火，独孤皇后听到后也很恼火，下决心要除掉高颖。独孤皇后之所以下这么大的决心，皆因在此之前还与高颖有一段恩怨。
独孤皇后精明能干，但是生性忌妒，不许杨坚亲近宫女，尤其是不许他宠爱宫女。公元593年，隋文帝建仁寿宫，由于天下太平，隋文帝有闲暇的时候，就到仁寿宫休养，且每次都与独孤皇后同行。一天，独孤皇后身体不好，在宫调养，隋文帝便自往仁寿宫，没有了独孤皇后的管束，隋文帝的心情格外的好，四处转悠，在苑中，他遇到了一个执役宫女，此宫女长得亭亭玉立，肌肤似雪，俏丽异常。隋文帝心有所动，即命此女陪同一起游览宫内景致。
