西征吐谷浑回来，李靖又陷入了麻烦。
在追剿吐谷浑可汗慕容伏允的过程中，盐泽道总管高甑生延误军机，李靖向来军令如山，不徇私情，将他以军法论处。谁知得罪小人，回朝之后，高甑生竟诬蔑李靖谋反。此外，李世民指派跟随李靖学习兵法的大将侯君集也抱怨说，李靖对朝廷有二心，不肯将其兵法韬略悉相传授。
对于第一件事，李世民展开调查，发现纯属子虚乌有，一点证据都找不出来，一怒之下，将高甑生流放边疆，并对李靖表示歉意，好生安慰了一番。
第二件事，李世民亲自跟李靖谈话，询问侯君集所言是不是属实。李靖心中没有私情，坦然相告，皇上，我教给侯君集将军那些兵法韬略，足以定国安邦，教多了未必是好事。李世民不明其中深意，也未作深究。
后来，侯君集拥立太子李承乾谋反，欲图刺杀李世民，阴谋败露后，李世民将其处斩，这时候，李世民才明白李靖的一片良苦用心，李靖早就知道侯君集心怀不轨，因此才不肯将兵法倾囊而授。
虽然两次事件都没有难为李靖，但他已感觉到官场险似战场，甚至超过战场。在战场上，怀抱令旗，指挥杀伐，与敌人面对面地交锋，藏掖不了什么。而在朝中，争权夺利，不同的朋党相互攻讦倾轧，阴谋迭出，险象环生，稍不留神，就可能成为残酷的政治斗争的牺牲品，尤其是现在，皇帝老了，太子又难以服众，几位皇子纷纷培植私人力量，将来势必有一场凶杀恶斗。
李靖不愿因卷入政治阴谋，因此再次恳请归隐羡陂山，回到红拂的身边。李世民十分不舍，真诚挽留，怎奈李靖去意已决，也只好放他回去。
李靖回到羡陂山，见到仍在病中的妻子红拂，又欢喜又心疼。欢喜的是，自己远征吐谷浑，身涉险地，几次出生入死，竟能活着回来与妻子团聚，毕竟老天有眼，没让我们生离死别；心疼的是，红拂也是一位女侠，胆略豪气皆在男子之上，没想到长年奔波辗转，竟失于调养，终成大疾，伉俪情深，怎不让人心疼？
从此，李靖守着爱妻红拂，在这羡陂山中，伴着鸟语花香，清风翠竹，袅袅梵音，优游终日，连亲戚朋友都断了往来。
每日里，李靖很早起床，以年逾古稀的高龄上山采摘草药，回来捣煎熬煮，亲自喂红拂吃下去，照顾得无微不至。如此日复一日，年复一年，虽然清贫，倒也快乐逍遥，如果红拂没病，或者病好了，那神仙也要羡慕这对美眷了。
山中无岁月，不知过了几月几旬，这一天，李靖从高山采药回来，还没等筛选挑拣呢，就见有御使飞驰而来，到了近前，躬身施礼，并言说，有恩旨到，皇上十分想念卫国公，请明日上朝一叙。
李靖接了旨，忙请御使到屋里喝茶，御使不肯，不住地嘱咐明天不要耽误了，略坐了一会儿就骑马去了。
李靖就跟红拂商量，红拂说，想当初我们与三哥一起投唐，屈指算来，二十多年了，三哥至今不知所踪，你我也都老了，听说皇上身体也不好，大概是念顾着旧年的情义，让你过去怀怀旧呢，没什么要紧的，只管去，别惦念我。
李靖点头称是，人老了嘛，容易怀旧，就连自己在采草药的时候，也止不住想起从龙起事，南征北剿的往事，帝王也是人，尤其是李世民英雄情怀特浓，近来又有不少烦心事，大概是想老人了。
第二天一大早，李靖穿戴整齐，就进城来了。长安城真是繁华，辐辏云集，商贾穿梭，这都是李世民创下的治世啊。李靖一边感慨，一边催促马车，没用上多少时间，皇宫就到了。
不过，还是来晚了，因为皇上和文武百官已然议事了。黄门官一看卫国公到了，忙扯着嗓子喊，卫国公李靖，到--李世民一听，喜出望外，原本以为李靖老了，来不了，因此心里老一阵失落，没想到毕竟还是来了，忙说，快，快，把卫国公搀上来！
李靖缓慢上殿，早有太监奉命看了坐。李世民不住地上下打量，见李靖两鬓斑斑，苍老了许多，不禁感慨，爱卿啊，两鬓星星，你我都老了。
李靖说，皇上正当壮年，何谈老字，倒是微臣，吃喝都没心思，懒动懒思，终日没精打彩的，恐怕是真的老了。
李世民说，想当初爱卿只带三千精锐，长途奔袭颉利可汗，扬我国威，是何等的英勇神武，如今胡须一捧，老态龙钟，怎不叫人感叹，平定江南，北逐突厥，西征吐谷浑，都是爱卿的功劳，我到什么时候也忘不了，没想到，人什么强敌都可以战胜，唯有这岁月二字，回天乏术！
李靖说，岁月催人老，谁都无能为力，只好听之任之，老臣适才从长安城中经过，发现不少南蛮，还有西域打扮的人，莫非边疆又有战事？
李世民哈哈大笑，如今四夷都奉我为天可汗，万国来朝，何言战事？今日正是进贡朝奉的日子，爱卿看到的都是来自南蛮、西域的使者和客商。
李靖说，哦，可有新鲜事？也让老臣开开眼界。
李世民说，正有一件新鲜事，我刚听到一半上，爱卿就姗姗来迟，现在正好让那南蛮使者从头讲来，我与爱卿分享！
南蛮使者一听，忙从头说起。原来李世民开创贞观之治，四海升平，五洲平静，唯有东南大海之上，扶桑国战乱不止，忽有一日，有人率领海船千艘，甲兵十万，出其不意攻其不备，杀入扶桑国，处死国王，止住战乱，然后自己称帝，建立新朝。
李世民听完，颔首对李靖说，化外之民，难得止住杀戮，不再流血，也算是扶桑小国的福气，爱卿啊，这等事够新鲜吗？
李靖心里怦然一动，听皇上问他，忙回答说，新鲜，太新鲜了，老臣空活了七十多岁，竟投一次听说这等奇异的事，这个领袖也必定是个英雄人物！
李世民点头称是，然后又扯了点闲事，就罢朝了。临别的时候，李世民拉着李靖的手，伤感地说，爱卿啊，有空常来坐，以后你我君臣见面的机会恐怕会越来越少了。说完老泪纵横。李靖颇为感动，也哽咽不止。
回到羡陂山，未曾进屋，李靖就欢喜地说，好消息！好消息！三哥在海外成事了，三哥在海外成事了！
红拂在屋中莫名其妙，听到三哥二字，心头一震，莫非是三哥有消息了？忙支撑着病体，起来询问。李靖过来扶住妻子，将朝堂上南蛮使者的那番话跟红拂一五一十地告诉了一遍。
红拂说，三哥临别时曾说，此后十年，若听说东南海上有异闻，就是他的得意之作，到现在正好十年，难道是三哥攻下扶桑国，建立了悬于海外的新朝？倘若如此，真是可喜可贺，三哥的一腔英雄壮志，终于没有付诸东流！
李靖将红拂依靠在高枕上，到外面捧来一壶酒，斟满了三大杯，对红拂说，当年，三哥曾说，若大业建成，就洒酒遥贺，来，一起祝贺三哥！说着，捧起酒来，一起倒向东南，遥相祝祷。祝毕，又将那两大杯喝尽了，心中充满了愉悦之情。
欢喜总是短暂，离别才是人生主题。红拂的病情日益加重，李靖怎么施治，都无力回天。李靖痛彻心肺，日夜祈祷。但神灵并未施以援手，贞观十四年，在一个秋风肃杀的黄昏，红拂最终还是先李靖而去，化作一缕香魂。
红拂一死，李靖的心也跟着死了。由于悲伤过度，身体情况每况愈下。独自生活在羡陂山中，闭门不出，李世民非常挂念他的身体状况，时常派人来看望，还给他写信进行安慰。
但人如果心死了，纵然华佗再世，也难以挽回，这种寂寥孤单的感觉一直折磨着李靖。贞观二十三年，李世民驾崩，原本不胜悲哀的李靖，悲上加悲，终于一病不起，没熬几天，就撒手人寰了。
虬髯客攻下扶桑国后，并无下文交待。至此，关于"风尘三侠"的一段爱情与友情的往事终告结束。
