这种江湖完全没有了隐士江湖的静谧与悠闲，再也不是士人们向往的社会风暴的避风港。它充满了艰辛与风险，这里既有漂泊流离的行役苦辛，更包含了攀缘于拥挤的仕途的感受。士人隐居的江湖是仕途上过来人的居所，他们已经不愁吃喝了，才能感受到江湖的安逸。而“江湖游士”不仅绝大多数还没有入仕，关键在于他们还没有吃饭之资，而且对他们来说更迫切的还是谋食。当然他们的最高目的还是位置通显，至少也要争得个一官半职，但希望逐渐成为绝望以后，他们更期待回到那个隐者的江湖去。陈必复《江湖》诗有句云：“江湖路远总风波，欲向山中制芰荷。”想逃回真正的江湖，在那里得到休憩与平复，然而这只是转瞬即逝的一闪念，如果家乡真有一个值得他留恋的安乐窝，他也不会奔走江湖了。落魄文士奔走的江湖已经很接近下面所说的江湖人的江湖了。
总之，作为隐居的“江湖”还是士人人格独立的象征，唐人刘长卿诗云：“江湖无限意，非独为渔樵。”（《送友人游越》）也就是说，归隐江湖远比躬耕田野内容丰富多了，它就包含有自甘做“化外之人”的意思。隐居之所以历来被人们赞颂在于它是一种与当权者不合作的、独立自主的生活态度。皇权专制社会中，人们内心深处很少对统治者有绝对好感，因此极易把同情心给予社会中受难者和那些与统治者不合作者。隐士也多自我标榜“世人皆浊我独清，世人皆醉我独醒”。如韩愈称颂伯夷的“特立独行，穷天地，亘万世而不顾者也”（《伯夷颂》）。这些或真诚或作秀的表白进一步拉开它与朝堂的距离，更增强了这个“江湖”的独立性，然而，它还是主流社会的一部分，它并不反主流，只是主流的一个补充。何况这个江湖也是不稳定的，时时发生变化，一旦它失去了物质基础，便成了落魄文士的江湖了。
当士人抱怨江湖的苦难时，此时的江湖则成了他们谋生谋食的场所，过去他们营造的江湖的脱离世俗名利的道德形象也便垮塌了。这里既有大自然的艰险，更不乏社会制造的苦难，士人如果久久地沉沦于此，便容易滑向社会的边缘，成为反主流社会的中坚力量，此时士人谋生谋食的江湖与游民的江湖便没有严格的分界线了。这一点我们在下面阐述“游民的江湖”里还要谈到。
