获此殊荣，贯云石不可能无动于衷，开始积极参政，直言敢谏，大有前辈王恽的风采。正当此时，仁宗想借儒家学说来控制民众思想，萌生了恢复科考的想法。此时贯云石正在教导太子读书，领会了仁宗的意思，便与身居翰林承旨一职的好友程文海一起筹备恢复科考的条令。他们主张恢复宋代科举制，选拔人才不拘一格，仁宗表面上点头，却根本没有实际举动，贯云石大失所望。不久，姚燧辞官隐退给了他很大的刺激，他更加认为没必要再待在朝廷。
在贯云石尚未提出辞官时，一些官员极力反对恢复科举制度的人站了出来，暗中陷害贯云石，说他妖言惑众、愚弄东宫，想左右元王朝未来走向。仁宗虽然没有相信谗言，贯云石却闻讯惊恐，暗道原来当个文官比武将还要惊险，在沙场上明枪易躲，在官场上却是暗箭难防。如果宫廷里再出现政治斗争，根本不是自己一个区区翰林学士能担待得起的。贯云石的担忧并不是无凭无据的。
元武宗、元仁宗即位之前，宫廷内发生过夺位溅血事件，例如武宗即位时，曾拥立过安息王阿难答为皇帝的铁木儿、阿乎台等人皆被处死；仁宗即位之后也是排除当年曾反对他做皇帝的人。贯云石在当翰林学士期间，曾进"万言书"批评仁宗对"八百媳妇国"和"吐蕃"用兵，又曾讲过太子言行不正的"坏话"，这些都是有心人可以拿来陷害他的把柄。贯云石心知只要有人想置他于死地，他很容易就会被扳倒。思来想去，觉得越来越凶险，贯云石便辞官退隐了。小小的翰林一职，他仅仅当了一年而已。
仁宗延祐二年，贯云石避居杭州，在这里建起了属于自己的陋居，仿效陶渊明过着独自下地耕田的闲适生活。可每至午夜梦回，依然对当年在朝廷经历的那场"恢复科举风波"心有余悸。
竞功名有如车下坡，惊险谁参破！昨日玉堂臣，今日遭残祸。争如我避风波走在安乐窝。
贯云石《清江引》
这首《清江引》与上首同写于酸斋旅居杭州之际，然而上一首的情感潇洒淡然，似乎还存有年轻人的洒脱与快活，与他刚让爵给弟弟时的情绪极其切合。但再看这首《清江引》时，却明显能感到他内心的凋零，归隐只为寻得片刻的安乐。
竞逐功名如同车下陡坡，凶险异常，弄不好一头扎进沟里，摔得个遍体鳞伤，更有可能粉身碎骨、一命呜呼，那其中的未知之数叫人惊悚。身在官场也是一样，凶险不是简单可以参透，也许前一刻还是朝堂里的机密要臣，与皇帝耳鬓厮磨，下一刻已中暗箭，横死牢中，还不如像他一般远远地逃开，寻找一个可居之所。此曲的末尾一句，可看出贯云石对世间的名利完全参破。
无奈的叹息之语，是贯云石沉迷显贵生活之后的"顿悟"，其中不乏那些不足为外人道也的心酸。不过，他能及早抽身去寻求避居乐趣，却也是极为明智之举。而且恰恰是因为他避居江南杭州，在那西湖堤畔度过了他的似水年华，使他不断找到文学上的灵感，才攀上了词曲文学的高峰，令他的曲子灵秀清新，内容生动自然，唱起来朗朗上口。也是在这绿野山川中，贯云石参透了武修的至境：止戈终生，静以养性。
