1353年，刘伯温来到绍兴，开始了三年的羁管生活。
绍兴古称会稽、山阴，经济繁华，风景秀美，素有“仙都”之称。东晋王献之曾感慨：“从山阴道上行，山川自相映发，使人应接不暇。”此亦成为千古名句。
刘伯温最开始却不太喜欢绍兴，因为他听朋友说，绍兴的官吏很不咋的（越之从政者鄙，且左右多凶人），很可能镇不住场子，万一发生战乱，那可咋整（恐不能和其民，万一变生肘腋，子将安之）？毕竟他也确实不想再跟匪类打交道了。直到听说一位叫迈里古思的贤人赶赴绍兴担任市委书记（达鲁花赤），刘伯温才松了一口气。
虽然从政者不行，但绍兴的景色确实没话说，美到爆。刘伯温曾经这样盛赞过绍兴之美：
语东南山水之美者，莫不曰会稽。岂其他无山水哉？多于山则深沉杳绝，使人僭凄而寂寥；多于水则旷漾浩瀚，使人望洋而靡漫。独会稽为得其中，虽有层峦复冈，而无梯磴攀陟之劳；大湖长溪，而无激冲漂覆之虞。于是适意游赏者，莫不乐往而忘疲焉。
翻译过来就是绍兴堪称东南最美的地方，为什么这么说呢？因为绍兴的山水搭配十分协调，山多了就成了穷乡僻壤，水多了就成了汪洋泽国。只有绍兴，虽然有山，却不十分陡峻；虽然有水，却鲜有水患，真是让人流连忘返。
正是在这样一座美丽的江南水乡，刘伯温度过了人生中最闲适的三年。
刘伯温在绍兴写的《遣兴》六首，很能反映他当时的闲适心情，比如其中有这么一首：
积雨兼数旬，天气凉有余。
青苔交户庭，始觉人迹疏。
地主多闲园，可以种我蔬。
儿童四五人，蔓草相与锄。
既倦则归休，卧阅床上书。
无事且为乐，何者为名誉。
梅雨季节，天气微凉，种种蔬菜，读读书，每日无事，当真是悠然自得。
绍兴历来都是文士辈出的地方，像刘伯温这样的名士，自然很快就打入了绍兴的文人圈子，结交了一大批朋友。其中最有名的莫过于著名的王冕——我们小学时候学过一篇叫《王冕学画》的课文，就是根据这位同学童年的故事改编的。
刘伯温在来绍兴前便听人说起过王冕，恨不能相识，两人正式见面则是在至正十四年（1354年）。虽然两人从三观上来讲不是一路人：王冕是个真正的处士，而刘伯温却对忠君报国念念不忘，但两人毕竟有一个共同语言，那就是对书画的爱好。而且在被羁管绍兴后，流连于山水的刘伯温对官场的那份热情也渐渐淡了下来，这两人最后成了莫逆之交。
羁管毕竟不同于囚禁，只要不离开绍兴或者离绍兴别太远，刘伯温的行动并未受到太多的限制。于是，这三年里他又捡起了当年的驴行装备，足迹几乎踏遍了整个绍兴已开发或者未开发的旅游景区。而且多次做中短途旅行，前往萧山、杭州，游活水源、灵峰寺，登松风阁，总之小日子过得要多安逸有多安逸。
值得一提的是，刘伯温尤其喜欢和僧人打交道。一方面是因为他此时的心境与万法皆空的佛义比较契合，另一方面，当然也是因为佛寺古刹往往坐落在风景独胜之处，去旅游总少不了这种地方。
也正是在这三年，刘伯温写作灵感大爆发，写下了许多优秀的文章诗篇。就文而言，无论是堪与柳宗元《小石城山记》媲美的《出越城至平山记》，还是被评价为“读之神骨俱冷”的《活水源记》，以及设喻神奇、辞章华美的《松风阁记》，都堪称文苑精品；就诗而论，既有诗韵工稳、格律熨帖的唱和诗，又有即景抒情、富有浓郁的悲凉情调的即兴之作。所谓“官场失意文场得意”，好的文学作品似乎总是眷顾政治失意人，这三年的羁管生活，反而给刘伯温的诗文创作提供了难得的心境、物境，形成了仕途得意之时无法企及的创作高峰。
