经过几百年的酝酿，到了两汉之后，“江湖”可以与士人归隐、隐居画等号了。晋代文士潘岳在其名作《秋兴赋》见《六臣注文选》卷十三，《四部丛刊》本。 中自述其志时说：
仆野人也。偃息不过茅屋茂林之下，谈话不过农夫田父之客。摄官承乏，猥厕朝列。夙兴夜寐，匪遑底宁。比如池鱼笼鸟，有江湖山薮之思。
潘岳自谓自己本来是个山林乡野之人，没想到做了官，可是自己适应不了官场的规矩，在官场上仿佛是池中鱼、笼中鸟一样还在思念着江湖山林。这里的“江湖山薮之思”虽然还是个比喻，实际上，它已经是隐遁之所的代表了。潘岳潘实际是个热衷名利之徒，赋中所说不能算数。元好问有诗讽刺他说：“高情千古《闲居赋》，争信安仁拜路尘。”生活在西晋，东晋着名诗人陶渊明笔下的江湖就是隐者生存和居住的场所。他在《与殷晋安别诗》中愤然说：“良才不世隐，江湖多贱贫”。陶本身就是江湖的“贱贫”之一。这是真实的，既然选择了在野，就不能辞其“贱贫”。它在与争名夺利的朝市相对时，江湖才显示出意义。《南齐书·高逸传序》中说：“故有入庙堂而不出，徇江湖而永归。隐避纷纭，情迹万品。”这里的“庙堂”是指朝廷，“江湖”就是士人的隐居之所。只有彻底告别名利才能心安于江湖，士人在一帆风顺时，没有几个人能够想到江湖，只有在倒霉时才后悔不迭。秦始皇的宰相李斯在一人之下、万人之上时，志得意满，绝不会想起归隐，只有当他和儿子“具五刑”，最后被送上刑场时，才对儿子说：“吾欲与若复牵黄犬俱出上蔡东门逐狡兔，岂可得乎？”直到要被杀头了才想起与家人一起过平民生活的温馨，这不太晚了一点吗？
身在江湖，心安神定的也不会很多。有进取之心像诸葛亮，高卧隆中，自比管仲乐毅，日夜分析天下大势，揣摩政治大计，并未打算终老湖山，所谓待时而为者。然而在没有遇到心目中的真主，他也不会贸然表白自己的心迹。这一种以天下为己任、抱道而隐的士人，是隐者当中最被后世尊敬的一类，如王猛、谢安、李泌等。
隐士当中最为人们嗤笑的是假隐士，他们平常高隐山林，悠游江湖，只要皇帝一纸诏书到来，真伪立判。南朝孔稚圭的《北山移文》所讽刺的周子，就是不耐贫穷和寂寞，富贵临门，马上改变了自己志向的假隐士周颙。
