中共原计划依靠张发奎的军队打回广州，然而张发奎已经站到了汪精卫一边……
大革命失败的惨痛教训，使中国共产党认识到武装斗争的极端重要性。没有一支人民的军队，便没有人民的一切，要挽救革命，就必须走武装反抗国民党反动派的道路，就是要“用革命的武装反对反革命的武装”。7月中旬，中共中央派遣李立三、邓中夏、谭平山、恽代英等赴江西九江，准备组织中共在国民革命军中的一部分力量，联合第二方面军总指挥张发奎重回广州，并号召农民起义，实现土地革命，建立革命根据地，然后举行新的北伐。
之所以这么做，是因为那时候中共所能掌握或影响的军队主要集中在张发奎统率的国民革命军第二方面军中。第二方面军统率着第四、第十一、第二十军这三个军和一些其他部队。叶挺担任第十一军二十四师师长。第四军二十五师是以原叶挺独立团为骨干扩编而成的。贺龙担任第二十军军长。当时，贺龙的国民革命军第二十军和叶挺的国民革命军第十一军第二十四师，正利用“东征讨蒋”的名义驻扎在江西九江附近。九江北临长江，南倚庐山，是长江中游重镇，自古为兵家必争之地。面对浩瀚的江水，官兵们慷慨激昂地说：“军阀手中铁，工农头上血，现在是我们为革命牺牲的时候了。我们要抱定必死的决心去战斗！”
此时，武汉形势越来越紧张，汪精卫集团已决心要在军队中“清共”。中共中央不少负责人和党员干部先后从武汉转移到九江，包括李立三、邓中夏、贺昌、聂荣臻、颜昌颐、苏兆征、彭湃、夏曦、易礼容、郭亮、董必武、恽代英等。据统计，在九江酝酿和准备南昌起义时，中共五大选举产生的五届中央委员会45名中央委员和候补中央委员中，就有16人先后到了九江；10名五届中央政治局委员、候补委员中，就有7人到了九江；临时中央常委5人除李维汉外，都先后到了九江。
李立三等到九江后，发现张发奎已经站到汪精卫一边。张发奎公然表示：“在第二方面军之高级军官中的C.P．分子如叶挺等须退出军队或脱离C.P．。”如果不尽快采取行动，共产党所能影响和领导的这两支部队将遭受重大损失。7月20日，谭平山、李立三、恽代英、邓中夏、叶挺等同先期到达的聂荣臻一起，在九江举行“谈话会”，即第一次九江庐山会议。会议认真分析了当时的政治军事形势，指出：“在政治上武汉政府已完全反动，唐生智正在积极屠杀我党，压迫工农群众。汪精卫已完全投降于唐，张发奎态度虽仍表示反唐，却已深受汪的影响，高唱拥汪，并表示对我不满，有在第二方面之高级军官中的共产党分子如叶挺等须退出军队或脱离共产党之表示。在军事上，四军、十一军已向南昌移动，驻扎于马回岭、涂家埠一带，二十军已渐次集中九江，朱培德之三军移驻樟树，九军移驻临川，程潜之六军经江西之铜鼓、萍乡，分道向南昌集中，有包围我军之形势。”
