这次，范仲淹没有像前两次那样挑“君”的毛病，他这次主要针对的是干部制度问题。也就是由尽“谏官”之责，转而要尽“台官”之责了。
原来这宋朝的老祖宗，太祖赵匡胤得天下是利用带兵之权，阴谋篡位当的皇帝。他怕部下也学这一招来夺其子孙的皇位，就收买人心，凡高官的子孙后代都可荫封官职。这样累积到仁宗朝时，已官多为患，甚至骑竹马的孩子都有官在身。凡一个新政权大约到50年左右是一道坎，这就是当年黄炎培与毛泽东在延安讨论的“周期率”。到范仲淹在朝时，宋朝开国已80年，吏治腐败，积重难返。再加上当朝宰相培植党羽，各种关系盘根错节。皇帝要保护官僚，官僚要巩固个人的势力，拼命扩大关系网，百姓养官越来越多，官的质量越来越低。这之前，范两次遭贬，三次在地方为官，深知百姓赋税之重，政府行政能力之低，民间冤狱之多，根子都在朝中吏治腐败。他经调查研究，就将朝中官员的关系网绘了一张“百官图”。1036年他拿着这图去面见仁宗，说宰相统领百官，不替君分忧，不为国尽忠，反广开后门，大用私人，买官卖官，这样的干部路线，政府还能有什么效率，朝廷还有什么威信，百姓怎么会拥护我们。范又连上四章，要求整顿吏治。你想，拔起一株苗，连起百条根，这一整顿要伤到多少人的利益，如欧阳修所说：“如此等事，皆外招小人之怨，不免浮议之纷纷。”皇帝虽有改革之意，但他决不敢把这官僚班底兜翻，范仲淹在朝中就成了一个讨嫌的人。吕夷简对他更是恨得牙根痒，就反诬他“越职言事，荐引朋党，离间君臣”。那个仁宗是最怕大臣结党的，吕很聪明，一下就说到了皇上的痒处，于是就把他贬到饶州（今江西鄱阳）。从他1035年三月进京，第三次被起用，到第二年五月被贬出京，又只有一年多一点。这是他第一次试图碰一碰腐败的吏治。
这次，许多正直有为的臣子也都被划入范党，分别发配到边远僻地。朝中已彻底没有人再敢就干部问题说三道四了。范仲淹离京，几乎没有人再敢为他送行。只有一个叫王质的人扶病载酒而来，他举杯道：“范君坚守自己的立场，此行比之前两次更加光彩！”范笑道：“我已经前后‘三光’了。你看，来送行人也越来越少。下次如再送我，请准备一只整羊，祭祀我吧。”他坚守自己的信仰“不以物喜，不以己悲”，虽三次被贬而不改初衷。
从京城开封出来到饶州要经过十几个州，除扬州外，一路上竟无一人出门接待范仲淹。他对这些都不介意，到饶州任后吟诗道：“三出青城鬓如丝，斋中潇洒过禅师”。“潇洒过禅师”，这是无奈地自我解嘲，是一种无法排解的苦闷。翻读中国历史，我们经常会听到这种怀才不遇、报国无门者的自嘲之声。柳永屡试不中，就去为歌女写歌词，说自己是“奉旨填词”；林则徐被谪贬新疆，说是“谪居正是君恩厚，养拙刚于戍卒宜”；辛弃疾被免职闲居，说是“君恩重，且教种芙蓉”。现在范仲淹也是：君恩厚重，让你到湖边去休息！饶州在鄱阳湖边，风高浪大，范自幼多病，这时又肺病复发。不久，那成天担惊受怕，随他四处奔波的妻子也病死在饶州。未几，他又连调润州（今江苏镇江）、越州（今浙江绍兴）。四年换了三个地方。他想起楚国被流放的屈原，汉代被放逐的贾谊，报国无门，不知路在何方。他说：“仲淹草莱经生，服习古训，所学者惟修身治民而已。一日登朝，辄不知忌讳，效贾生‘恸哭’、‘太息’之说，为报国安危之计。情既龃龉，词乃睽戾……天下指之为狂士。”范仲淹已三进三出京城，来回调动已不下20次。他想，看来这一生他只有在人们讨嫌的目光中度过了。
