大概慧远老来神态很是威严，或者是道德学问让人有些怕。有位叫慧义的僧人，个性强悍，又修了多年学问。他和慧远的弟子慧宝认识，就对慧宝说，人们只要一听说你师父，就望风拜服。我就不信你师父这么厉害。这天，他一大早就来听慧远讲经，准备挑刺，结果“每欲难问，辄心悸汗流，竟不敢语。出谓慧宝曰：‘此公定可讶。’”（《高僧传》）
也许慧义的学问有不足，反正慧义没有提问。反而说“此公定可讶”。讶：惊奇。
桓玄征伐殷仲堪大概是398年，桓玄很得意。当时桓玄为荆州四郡都督，征仲堪途中经庐山，派人上山请慧远下山相见。
慧远说自己有病，不能下山。桓玄要亲自上山，左右随从对他说，听说他和殷仲堪很好，你上山不大好吧。桓玄说，殷仲堪不过是个死人罢了。桓玄、仲堪早些时候很要好，可见桓玄的傲气凌人。
桓玄一步步上山，本不打算向远公敬礼的，但见了远公的严肃神韵，不觉自然而然地致敬起来。桓玄还向慧远弹了指，弹指是从印度传来的，表示致敬的意思。不少王宫大臣都会这个。桓玄问：“不敢毁伤，何以剪削?”《孝经》中有：“身体发肤，受之父母，不敢毁伤。”意思是剃发出家是不孝的。
慧远答：“立身行道。”这句话也出自《孝经》。桓玄称善。原来准备好问难的话，不敢再说了，就说要去征讨殷仲堪。慧远不回答这个敏感的话题，回避了。桓玄又问：“何以见愿？”慧远答：“愿檀越安稳，彼亦无他。”问到意愿。慧远才说愿檀越（施主）你安稳，对方也不要有事。
桓玄下山后对左右随从说：像远公这样的人，实是我生平所未见过的。
桓玄大概不会想到慧远的安稳是说，这样的你争我夺于你自己也不好。六年后，如日中天的桓玄被另一个更大的军阀刘裕杀死。这年他36岁。
