来和、韦鼎都是杨坚年轻时的至交，杨坚当皇帝之后，仍很相信两人。杨坚不知道，两人都曾是杨广家中的座上宾。
经过几年的经营，杨广已具备了打击杨勇的条件。
谋权之策：瞄准死穴发难
“打蛇打七寸”，攻击对手不仅要击中要害，还要一招致死，而且最好让对手猝死。如果半死不活或者让对方有复活的机会，那可能就会后患无穷。
杨广夺位太子的阴谋终于被杨勇发现，眼见隋文帝与独孤皇后一天天疏远自己，杨素跟自己貌合神离，亲家高颖被贬，他感到自己的太子地位江河日下，整日里忧心如焚，但一时又没有什么好办法来反击杨广。
一天，他听说新丰人王辅贤能占卜，于是派人将他召到府中来占吉凶。王辅贤夜观天象，作法占卜，然后对杨勇说：“有白虹贯东宫门，太白袭月，这是皇太子将废退的征兆。”
杨勇大惊，请教解救之策，王辅贤说：“只有厌胜之法可以压住凶兆。”杨勇于是请王辅贤用铜铁五兵造成各种厌胜，埋在东宫各处，并在后园中建立庶人村，自己粗衣粗食常在庶人村住，以此方法来避凶兆。
隋文帝知道杨勇惴惴不安后，在仁寿宫召见杨素，要他观察杨勇的动静。杨勇听到杨素要来，穿着礼服等着接待杨素。可杨素来到东宫后，故意不进门，在门口拖延时间，以此来激怒杨勇。杨勇等了很久都没有杨素进来的消息，才知道杨素侮辱他，愤慨形于颜色。
杨素回报文帝：“杨勇多有怨恨，恐怕他有什么变化，还要作进一步的观察。”隋文帝于是更加怀疑杨勇有谋反之心。
独孤皇后也派人去收集杨勇的过失，然后添油加醋上报文帝。
隋文帝更加疏远杨勇，命人在玄武门与至德门之间设立便衣，侦察动静，有情况随时奏闻；东宫的宿卫将士，侍官以上，名籍都由诸卫府掌握，东宫骁勇的士兵，一律撤换。
这时，杨广使出了杀手锏，他贿赂东宫幸臣姬威，向姬威陈明利害关系，说：“东宫罪过，主上都知道，已奉密诏，定当废立，你能报告东宫消息，将来必将大富大贵。”杨广的意思是让他罗织杨勇罪名。姬威见杨勇大势已去，同意了。
姬威将东宫的消息传给杨素，杨素就拣一些事改头换面之后向隋文帝汇报，这样杨勇的过失一天比一天多，隋文帝废除杨勇的决心也一天比一天坚定。
被杨广收买的太史令袁充对文帝说：“我观天文，皇太子当废。”
文帝说：“天意如此，朝臣不敢说什么了。”遂决定废勇。
公元600年，隋文帝到仁寿宫考虑废立一事。过了一段时间后，他回到长安，在大兴殿召集群臣，令杨素宣布东宫罪状。杨素伪称道：“开皇十七年，我奉敕皇太子严办刘居士余党。太子不理，反而说：‘居士余党已伏法，你是右相，自己去办理吧，与我何干。’”然后，他又说了太子的许多坏话。
