到了诗歌的第四句，白居易吟出了近乎自责的自嘲。皇帝宫殿前的台阶涂成赤色，叫赤墀。这里代指朝廷。“五年为侍臣”讲的是囚居官位时间之长。从白居易承受校书郎到该诗诗成那刻，不多不少，刚巧五年。但这五年的官宦生涯，却让诗人有苦难言。同用“赤墀”，诗人的心态和李白“揄扬九重万乘主，谑浪赤墀青锁贤”的心态又大不相同。在白居易的笔下，已经萌生退隐之意了。
这对于写出“丈夫贵兼济，岂独善一身”、“应作云南望乡鬼，万人冢上哭呦呦”等披肝沥胆诗句的诗人来说，官做得好好的，竟徒然萌生退隐之意，确实让人摸不到头脑。想必其中必有隐情。
随即，诗人就自揭谜底了。答案在诗人“狂狷”的性情，“难与世同尘”。白居易所在的唐朝，藩镇割据，内忧外患，中央昏聩无能。当朝百官，唯唯诺诺，吹拍逢迎方是立命之道。天赐傲骨的山中人，哪能玩得转这样的厚黑太极？诗人擅作的讽喻诗，就已经让太多的人如坐针毡了。再加上诗人不时耿直进谏，更令当朝百丑恨之入骨，欲除之而后快。
《自题写真》的第六句，诗人展现出超乎时间的清醒。而这句诗，也成了白居易日后的预言。元和十年，武元衡被刺事件。诗人不要命地主张严惩凶手，惹怒权臣，被一个“越职言事”的罪名定罪，获贬江州。像是为了证实诗人的“狂狷”，权臣们“考究”出白居易的母亲是看花落井而死，但是“不肖子孙”白居易还敢写《赏花》、《新井》。性情“极为歹毒”，“天理难容”！真让人瞠目结舌。
古云，橘生淮南则为橘，生于淮北则为枳。这是环境使然。可是人非橘，并非环境可以轻易改变。狂狷如香山居士，与其举双足，踏红尘，让天性毁于淤泥深沼，不如随了诗人心意，早点“收取云泉身”吧。
