荥阳郡位置在隋代是相当不错的，属于经济发达的大郡，就是现在的河南省郑州附近。河南虽然现在有个不太时尚的标签：农业大省，但在那时候，农业牛得很，跟今天的外资一样吃香。能把李渊调到那里，说明杨广还是讲了表兄弟之情的。这里离李渊第一次任职的谯州很近，顶多天把两天的车程（马车），虽说李渊同志是苦笑着从终点又回到了起点，但总算是搞到一张半新不旧的船票了。按理说，从雪藏到复出，应该是步入顺风顺水的政治快车道了。
可是，又出事了。关键时候，“养马门”事件爆发了。
原因大家都知道，毕竟从小在蜜罐里长大，李渊同志也有许多纨绔子弟所独具的各类特殊的饲养爱好。 他的一帮富贵哥们中有养狗的有养鹰的，还有养蝎子养蛐蛐的。李渊比他们档次稍微高点：养马。经过多年的搜买累积，李渊家里囤积了不少品种优良的名马。本来是养马无罪，爱马有理的，但是遇到同样喜欢名马的杨广同志，那就变成有罪和无理了。也不知道是谁打的小报告，这件事让“除了人民不养，其他什么都养”的杨皇帝知道了。得知李渊有好马居然不进献，杨皇帝气得肺泡鼓得跟鱼泡似的：老李同志，算你狠！不给你一双十五码的迷你鞋你还不知道杨树比李树粗、杨梅比李子甜！不能用拳头扁你还不能用权力贬你吗？你既然喜欢马，那就“上山下乡”，到边疆楼烦郡去当太守吧，那里地广人稀，跑马方便，工作爱好两不误。
就这样，刚刚在大隋政坛冒了一下泡的李渊收拾铺盖不情愿地来到了楼烦。
要说李渊也真是不会“来事”。杨广喜欢马也喜欢马屁，喜欢美女也喜欢美酒，后三样你李渊一样都给不了，唯独有几匹好马还藏着掖着，不整你整谁？
别人是玩物丧志，李渊是玩物丧职。
楼烦（今山西静乐）这地方很名不副实又名副其实，名叫“楼烦”，其实根本没有楼，最高地标不是山就是树，还经常刮沙尘暴，到这地方旅游都嫌烦，当官长住那简直是烦上加烦，烦的平方。这个郡是杨广上台的第三年（607年）才建立的新郡人口只占荥阳郡的六分之一。土地贫瘠，治安混乱，GDP基本可以忽略不计。作为皇亲，来这里任职，相当于流放发配。
来到这个鬼不下蛋的地方，李渊才真正醒悟了：虽然脑袋顶在自己肩膀上，但自己是做不了自己主的，只有领导才能替自己做主。于是他托关系，走后门，按照老婆的指点，不时向表弟进贡名马雄鹰一类的玩赏宠物，渐渐改变了皇帝表弟对自己的恶劣看法。终于有一天，表弟被他一贯虔诚低调的自我检讨感动了，将他从偏远边陲直调中央，出任殿内少监，专门负责宫廷各项物资供需。行贿受贿之后，李渊总算回城了。杨广给的这个职位虽然不很显赫，但由于是皇宫“无计划经济”体制下的采供一条龙服务，还是有不少捞油水的弹性空间的，比起以前的“准流放”太守来，已是一个天上一个地下了。李少监在这个位置上干得不错，供给保障有力，后勤服务到位。杨广很高兴，结果很可喜。不久，他又升任卫尉少卿。卫尉少卿有项最重要的职责是负责全国军械兵器的入库登记、发放和管理，这项工作的重要性不言而喻。杨广那会儿实行的是 “先军政治”，国家第一要务不是发展，而是打仗戍边，一切涉军事务优先，李渊能混到这个岗位，表明他已经逐渐取得杨广的信任。从这时候开始，李渊算是半正式进入军界了，尽管是在最上游的最边缘，但可以从此时开始计算军龄了。
李渊的宫廷任职生活是悠闲惬意的。虽然是单位二把手，虽然级别比以前低，但由于他封爵很高，加上是皇亲，再加上他一贯人缘很好，所以身边总有一帮人围着他，上班聊聊天灌灌水，下班喝喝酒听听歌。谈笑有美女，往来无白丁，有丝竹之绕耳，无案牍之劳形。一个字：爽；两个字：超爽；五个字：不爽不要钱。
