树大招风，一下子连连高升的高适很快就惹恼了一个大宦官——李辅国。李辅国是大唐王朝中专权最凶的一个。他曾经跟随高力士当过仆役，最后当他自己手中有权时，却将自己的师傅高力士贬谪出京。朝中就连宰相对他都要执弟子之礼。拥立唐代宗后，李辅国更是不可一世，有一次甚至当着自己的主子说：“大家（指皇帝）但内里坐，外事听老奴处置。”高适在朝中的直率当然触及到了李辅国的利益，得罪了李辅国。对付刚刚进入官场的菜鸟，李辅国也不用多费神，只需多向皇上进几次谗言，高适就一路左迁，被贬到四川彭州担任刺史了。
为官是一种能力的彰显，也是一种艺术，更要具备一种别人看不到的远见。在随后的“李璘叛乱”中显示出了高适的这种远见，而这种远见也正是在和他的友人李白的对比中展现的。李白跟高适、杜甫会面时，正好是他被唐玄宗赐金还乡的时候。其实，他的仕途已经结束了，但是志向远大为人自负的李白从来就不认为自己会这样沉沦下去。天宝十五年（公元756年），太子李亨于甘肃灵宝即位，是为唐肃宗，尊称玄宗为太上皇。李亨的擅自即位激起了诸王的不满，永王李璘在江陵起兵，打算自立。当时李白正在庐山隐居，于是李璘想将这位誉满天下的名士罗至旗下，以壮声威。于是派心腹谋士韦子春三次上山，以平定安史之乱、复兴大业的名义，聘请李白参加他的幕府。李白应聘下庐山，入永王军为幕僚，夫人宗氏竭力劝阻，李白不听。
当时高适正担任江陵长史，如果说李白此时体现的是对政治完全的无知的话，高适却表现出非同寻常的政治敏感。他一眼看出永王有对抗肃宗之意，于是借口有病，偷偷离开江陵，投奔肃宗，详细介绍了江东形势，说明永王必败之状。肃宗任命高适为节度使，与来瑱、韦陟共同率兵平定永王之乱。野心勃勃的李璘兵败被杀，而曾被李璘奉为座上宾的李白也因“附逆”而下狱，而高适却步步高升，从刑部侍郎坐到散骑常侍，又加封为银青光禄大夫，最后又晋封为渤海县侯。
高适的成功，在文人圈子里，是一个奇迹。与他同时代的墨客骚人，几乎没有人能有这样显赫的地位。他的好朋友王之涣、王昌龄，只是做到县尉而已；李白虽得意一时，但到最后也沦为“罪人”；杜甫一生抑郁寡欢，在战争面前奔走逃亡，妻离子散。唐玄宗对高适不仅予以重用，还“深嘉之”，在一道圣旨里说：“侍御史高适，立节贞竣，植躬高朗，感激怀经济之略，纷纶瞻文雅之才。长策远图，可云大体；谠言义色，实谓忠臣。”得到如此高的评价，真正是荣耀之至。
然而我们再回头来看作为想挤进官场的小人物时，高适付出的耐心：年少进京，但是却放不下架子，“有才不肯学干谒，何用年年苦读书”，只能唱着“白璧皆言赐近臣，布衣不得干明主”，失望地离开后隐居12年；到燕赵一代浪游2年，无果。太平盛世，游侠依然没有出路；又过了几年，高适再次到长安，又不得不落地而归，这时诗人已经35岁了。人生七十古来稀，基本上前半生已经完了。十余年的隐居生活后，到749年，高适才当上一个小官任封丘县尉。已经快50岁的人，如果不是突然时来运转，他大概就要像孟浩然一样结束自己的生命了。但是，高适并不是一个田园诗人，不甘心就这样结束自己当官的梦想，从做九品小县官到封侯，高适在这一条官路上一直不焦不躁，耐心地等到他最光荣的时刻。
