秦王政发现，虽然免去了吕不韦的相国职位，但吕不韦和他的利益团体吸尽了秦国的国力和资源，每逢出兵或国家有重大开支，国库还得向他和他的利益团体设法调借，换句话说，吕不韦仍控制着秦国的命脉。更使秦王政不安的乃是吕不韦在秦国和国外的潜在势力，这在这次就国时充分展示了出来。
在秦始皇的诏命公布后的一个月里，咸阳城似乎变成了吕不韦城，从早到晚，无论是茶楼酒肆，或是街巷市井，上自王侯大臣，下至贩夫走卒，口中谈论的都是吕不韦，设宴送行的、赠送纪念物的、歌功颂德的，更是无日不有。
吕不韦起程的那一天，送行车队长十多里，道旁的几案从东门一直排到十里长亭，送别宴毕，还有人接着送过渭水的。
吕不韦就国之后，河南就变成了政治、经济、外交甚至是文化的中心。各国使节到咸阳之前，都会先到吕不韦那里停留议事，到达咸阳见秦始皇时，所谈的往往是在吕不韦那里得到的结论。
在咸阳的大臣遇到重大问题，也会和吕不韦书信往来商议，甚至远赴河南移樽就教。政治方面如此，文化方面就更不必说了。吕不韦被免去相国之职，闲暇时间更多，他召集门客吟诗作对，著书立说，俨然成了文化首领。想到吕不韦有形的、无形的势力以及他对秦国经济的控制，秦王政就犹如芒刺在背，夜夜都不能安枕。
那天，他将蒙武找来，在南书房讨论了一个晚上，等蒙武走了以后，他又在灯下沉思很久，最后亲自书写了一封给吕不韦的信。短短一封信却似乎耗尽了他全身的力气。他召进内侍，命他连夜将信送到蒙武府上去，并命蒙武明天即起程，将信送给吕不韦。
吕不韦读完了秦王的信，抬头对坐在西边客位的蒙武说：“主上命我和家属迁蜀，是否有限期？”
“主上没定限期，也未明令夺爵，什么时候起程，君侯可自行决定。”
吕不韦起立在室内踱着步，突然转过头来又问：“临行主上还有别的话没有？”
“主上在臣已拜别上车时，又交代臣转告君侯，希望君侯能善以自处。”蒙武从容地说。
听了蒙武这句话，吕不韦心头一凛，“善以自处”，这句话弦外有音啊，嬴政到底想对他怎么样？送蒙武走了以后，吕不韦又回到书房，真可说是百感交集。
他临窗伫立，很久都理不清思绪。嬴政的信和蒙武传来的话，很明显是要他自行处理，换句话说，也就是要他自行了断。嬴政在步步进逼，先是将他的产业收归国有，接着将他从咸阳贬到河南封地，现在又要他从河南迁到蜀地，下一步呢？
也许是他自己的错，不该在贬谪之余还不知收敛，但这有什么办法？他只是接待来宾！诸侯使者、学者名流、市井游侠找到他这里来，他无法不招待，否则吕不韦就不成其为吕不韦了。
也许他最错的地方是当时没有听太后的话，和她一起合力将他废掉，立成或是立的儿子为王，他们都好控制得多。但这样可以吗？他到底是他的儿子，废他立别人的儿子，怎么也说不过去。
现在他这个做父亲的节节退让，做儿子的却步步进逼，看情形是要置他于死地。他应该采取什么对策呢？
应该说，秦王政看在母亲的面子上，网开一面，让吕不韦在河南安度晚年，这也是英明之举了。但是，秦王政毕竟还是年轻了一点，低估了吕不韦的政治声望和集团实力。
