慧远一行人到了荆州，在上明寺住了三年，就又南下了。
慧远是打算去惠州罗浮山的。原来他早和同门慧永约好，一同去罗浮山，听说那里很美，很适宜传道。但道安当时没有放慧远走。慧永一个人先走了。现在他和弟子们在荆州住了三年后，就想找慧永去。
到了浔阳（今江西九江），他不走了。庐山的风光太美好了，比画图中还要美好。“见庐峰清静，足以息心”，就住下了，住在龙泉精舍。龙泉有来历，和神迹分不开。说是慧远和众僧寻找可以建寺的地方，看中了一个地方，但距离水源太远。慧远就“以杖叩地曰，‘若此中可得栖立，当使朽壤抽泉。’言毕，清流涌出，后卒成溪”。也有点太神奇了。
慧远留在庐山不走，一是看中了这个地方，再就是受到了慧永的邀请。慧永也是走到这里留下了，他住西林寺。龙泉精舍距西林寺不远，说是精舍，也就是茅屋。慧远就在这里弘法。
过了一些时日，慧永看龙泉精舍太简陋，前来听慧远传教的人太多，就给江州（治所九江）刺史桓伊说，慧远是当今不可多得的大师，你帮他建所寺院吧。当初西林寺就是桓伊建的。这人好佛，喜音乐，善吹笛，据说《梅花三弄》就是根据他的笛曲改编的。当时桓伊就痛快地答应了，在庐山东面建了东林寺。
慧远是不错的建筑家，东林寺建得相当可心如意。《高僧传》有一段记述：“创造精舍，洞尽山美，却负香炉之峰，傍带瀑布之壑。仍石垒基，即松栽构，清泉环阶，白云满室。”
自此，慧远没有离开过庐山一步，在山上演绎着佛的义理和精神，直至83岁圆寂。
虽有王室和权贵要他下山，他始终不肯。
东林寺前面有一条溪水潺潺流过，叫虎跳溪。上面有座小木桥。小桥流水，有很好的诗意。慧远的原则是送客从不过桥。说一过桥，老虎就要大吼。这也是他不下山的一个理由。我怀疑是他或弟子们编造的理由。看起来是个很好的理由。
