公元655年，武昭仪被册封为皇后，而被她视为眼中钉的褚遂良在第一时间就被赶出了朝廷，调到遥远的潭州任都督。公元657年，她将褚遂良调到离京师更远的广西，同年，褚遂良被卷入中书令来济、侍中韩缓的谋反案，身败名裂。
晚年的褚遂良在绝望之中给高宗写了一封信，恳请他看在昔日的情分上饶恕自己，但结果仍是无济于事。公元659年，禇遂良在流放之中死去。
纵观褚遂良的一生，他是贞观元老，为大唐的兴盛立过功，又是著名的书法家，博闻广记，是一个人才。不过，他在政治上却并不明智，思想迂腐。很多人都认为武则天整治褚遂良完全是出于私心报复，其实并不尽然。
褚遂良并非人们想象中的那么正直和大公无私。在太宗末期，他曾陷害前宰相刘洎，导致刘洎被冤杀；当权期间，强占民田，百姓对此极为气愤。
