尽管对朱元璋是否属意刘基大可置疑，① ()但他向刘基征询对杨、汪、胡三人能否任相的意见应是有史可稽。1371年，李善长以疾致仕，继任的丞相，先是杨宪，再是汪广洋，此二人败后，李善长推荐的胡惟庸正式登场了。
胡惟庸和李善长同乡，也是安徽定远人，1355年在和州参加朱元璋幕府，以办事灵巧，再加李善长的举荐，一步步赢得了朱元璋的赏识，至1370年，拜中书省参知政事，已是新政权中的一个高级文官。1373年初，右丞相汪广洋左迁广东行省参政，胡惟庸拜右丞相，不久，进左丞相，开始独专其事。得悉刘基曾在朱元璋面前说自己不堪大任，胡惟庸怀恨在心，每思报复。那时刘基已经致仕回浙江青田老家，不再与闻政治，但胡惟庸还是不肯放过他。
刘基的朋友宋濂，与同郡人吴德基一起致仕时，曾问吴是不是懂得保全之道。吴德基表示愿听指教，宋濂说是“慎毋出户，绝世吏，勿与交”。宋濂教给吴德基的，也是刘基早就在做的。回到青田老家后，他日日饮酒下棋，不问世事。据说青田县令想见他而不得，打扮成一个老百姓的样子前去寻访，刘基当时正在溪边洗脚，就让儿子把客人引入茅舍，烧了一锅黍饭招待他，称自己不过一介草民，何劳大人亲自造访。但即便这般谨小慎微，刘基还是出事了。
在刘基的老家瓯江、括苍山间，南抵福建界，有一处叫谈洋的地方，私盐贩子十分猖獗，刘基建议在此设立巡检司，地方官吏没有采纳，于是刘基绕过中书省臣，遣长子刘琏直接向皇帝上奏。胡惟庸那时刚升任左丞相，掌中书省，他意识到攻击的机会来了。他指使亲信诽谤刘基在谈洋这个有王气的地方营建坟墓有谋逆意图，建议设立巡检司的真正目的是驱逐百姓，争抢地盘。果然，朱元璋的猜忌心再一次被激起了。
此时的刘基已进入生命中的老境，用他自己的话说，“须发已白过大半，齿落十三四，左手顽不掉，耳聩，足踸踔不能趋”，惧怕呆在家里会有灾祸降临，急忙赶赴京师表明心迹。朱元璋没有责怪他什么，因此他也没有机会作任何辩解。但朱元璋还是在他入京次月借故羞辱了他一番，停发了他一月薪俸，理由是他在一次祭孔典礼上不陪祭而受胙。受胙不受胙本是小事，朱元璋如此小题大做，分明是故意让刘基难堪。此后年余，刘基有家不能归，在朝无职事，只是以诚意伯的空衔随朝陪侍，有时接一些临时任务写一些无关痛痒的官样文章，有时也出门应酬一二，饮酒赋诗聊以解愁，不久就卧床不起了。
眼看刘基不久于人世，1375年春天，朱元璋决定赐他“还山以便侍养”。离京南归的日子定在二月三日，此前一天，朱元璋关心刘基病情，特召宋濂来问，宋濂答是患“霜露之疾”。当步至丹墀时，朱元璋让内使把他一部新刊刻出版的文集赐予宋濂。后来宋濂得知，这部文集受赐的惟他与李善长、胡惟庸三人，没有给刘基，从中可见朱元璋与刘基间的关系已大不如前了。
