杨恽被废退以后，并没有闲着，而是“居家治商业，以财自娱”。按理而言，被废退的臣子应该低调一点才好，杨恽却不这样，他用经商赚来的钱大肆招徕才学之士，俨然把自己的家变成了一个集会点。
他的好朋友安定太守孙会宗有一次来找他，发现无密可告的杨恽的确是闲不住。他告诫这个朋友，应该采纳前人的经验，大臣被废退后，必须胆小怕事，装成一副可怜相，让人觉得你很低调才好。
杨恽不这样认为，他肚子里有怨气，他认为皇帝只凭自己的几句话就把自己废了，的确不符合规矩。当孙会宗走后，杨恽心血来潮，拿纸拿笔，写下了中国文学史上比较有名气的《报孙会宗书》，他先是在信中夸耀自己的显赫世家，然后是废为平民后的生活，最后，他狂傲地说，古代有个叫段干木的不肯做官，我要效仿他。
这篇文章还没有传出去，他的侄子读到了，对他说：“您过去有功于朝廷，现在只要低个头认个错，皇帝会重新起用你的。”叔叔大怒：“胡说！这种皇帝，我还为他卖命做甚！”这当然还属于大逆不道之言，在专制时代，为皇帝卖命是权利！但他的这种话并没有被人告发，直到他的《报孙会宗书》被人读了去，又接着而来的是五凤四年（公元前54年）出现了日食。
日食在今人眼中，只是一种天文现象。在古代，却是一件关乎性命的预兆。一旦出现日食，就只能有两种人要死，第一种是皇帝，第二种是大臣。与其死皇帝，不如死大臣。宣帝正在思考不知该死哪个大臣的时候，有一个养马的小官叫拜成的前来告密。他说，日食警告的是杨恽，因为他不但未有悔过之心，而骄奢淫欲，私自经商，又写过一篇文章，很有怨恨之意。
宣帝立即叫人拿来那篇文章读，读到“夫人情所不能止者，圣人弗禁，故君父至尊亲，送其终也，有时而既。臣之得罪已三年矣。田家作苦，岁时伏腊，斗酒自劳。家本秦也，能为秦声。妇，赵女也，雅善鼓瑟。奴婢歌者数人，酒后耳热，仰天拊缶而呼乌乌。其诗曰：‘田彼南山，芜秽不治，种一顷豆，落而为箕。人生行乐耳，须富贵何时！’是日也，拂衣而喜，奋袖低昂，顿足起舞，诚淫荒度。不知其不可也”时，宣帝大怒，下令逮捕杨恽。
宣帝为什么会大怒，《容斋随笔》的作者洪迈给出了答案：“予熟味其词，独有‘君父至尊亲，送其终也，有时而既。’盖宣帝恶其‘君丧送终’之喻耳。”
杨恽觉得，我已经被贬官三年，就仿佛是我给我死去的老子守了三十六个月的孝一样。按礼制，我已经尽孝道了。也就是说，以后我老子再来我梦中找我骂我不孝，我就会骂他。因为我所尽的已经尽到，你已经没有资格再对我说三道四。你皇帝老儿也一样，我被你贬了三年，已经对你尽了忠道。那么，从此以后，咱们就是井水河水，你别来找我，我肯定不会去找你。我们之间君臣的关系已经彻底结束了。
宣帝看到这样的话，自然不会发怒，如果他仔细想想，杨恽说的的确有道理，虽然有点强词夺理。但让宣帝受不了的是，杨恽居然把他和死掉的父亲相提并论，这无疑还是那个“有马狂奔触殿门”之语的翻版。宣帝自然就要大怒了。
杨恽由告密发家，又以告密身败。可谓成也告密，败也告密。但我们不得而知那个喂马的小子拜成为什么要告密。也许，有时候，这种在皇帝身边告密的人只是希望给皇帝排忧解难，才把别人性命给搭进去的，而随着别人性命的丧失，告密者则摇身一变，被加官进爵。拜成后被宣帝封为郎，从此结束了与畜牲在一起的岁月。
由此可以看出，为什么像杨恽这样的人特别喜欢告密了。因为告密是一条终南捷径，许多人用毕生精力才能到达的顶峰，在专制时代，你只需要告密就能登上去了。
为什么告密事件屡见不鲜？柏杨先生的论断是：“不是中国人特别喜爱打小报告，而是制度如此。有什么制度，就有什么样的行动反应，当社会风气以告密为荣，认为告密是效忠时，我们又如何唾得完？又如何特别唾某一人二人！”
杨恽当然还创造了中国历史上的一个记录，那就是文字狱。著名的散文家黄裳先生在《笔祸史谈丛》后记中说了这样一句话：“历史上以文字杀人较早的一例，一般都认为应数杨恽之狱。”他的认为当然有根据，民国年间所编的《辞源》“文字狱”条目下就有这样一个注：“以文字贾祸之谓，如汉杨恽以《报孙会宗书》腰斩 ”宋人罗大经也说：“杨（恽）子细以‘南山种豆子’之句杀其身，此诗祸之始也。”
从此后，这个告密者创造的记录开始笼罩着中国专制时代的所有文人们。
