会后，朱德率部历尽千难万险，转战湘、粤、赣边境。沿途不仅有敌军追赶，也不断遭到土匪和地主武装骚扰和袭击。部队除战斗减员外，自动离队的干部、战士越来越多。10月下旬，朱德率部到达赣南安远县天心圩时，部队只剩下七八百人，师、团级政工干部中主张继续坚持斗争的，只剩下第七十三团政治指导员陈毅一人，处境非常困难。在天心圩，朱德对部队进行了整顿。他召开全体大会宣布：今后这支队伍由我和陈毅领导，革命的跟我走，不革命的可以回家，大革命失败了，不勉强；即使只留下十支八支枪，仍要坚持革命。他分析了国内形势，指出军阀混战不可避免，只要他们相互打起来，我们就可以发展。还说，1927年中国革命等于1905年的俄国革命，俄国在1905年革命失败后是黑暗的，但是黑暗是暂时的，到1917年革命终于成功了。中国革命现在失败了，现在也是黑暗的，但是黑暗同样遮不住光明，只要能保持实力，革命就有办法，革命就能成功。
陈毅也诚挚地开导大家说：“南昌起义是失败了，南昌起义的失败不等于中国革命的失败。中国革命还是要成功的。我们大家要经得起失败局面的考验，在胜利发展的情况下，做英雄是容易的，在失败退却的局面下，做英雄就困难得多了。只有经过失败考验的英雄，才是真正的英雄。我们要做失败时的英雄。”
在朱德、陈毅领导下，经过整顿、整编、整训，巩固了部队，加强了党对部队的领导，加强了纪律，部队慢慢发展到1000多人，且情绪稳定，士气开始重新高涨。这支从南昌起义失败的血泊里挣扎过来的人民武装，终于生存下来了。粟裕后来回忆说：“那时候我们还不懂得应当把支部建在连上，但是实行了把一部分党、团员分配到各个连队中去，从而加强了党在基层的工作，这是对于这支部队建设具有重大意义的一个措施。”“可以毫不夸张地说，那时如果不是朱德同志的领导和陈毅同志的协助，这支部队肯定是要垮掉的。”
11月上旬，朱德率领部队在湘、粤、赣交界处的大庾岭山区开展起游击战争，发动群众打土豪，分田地。在赣南上犹县，朱德等人意外地与参加湘赣边界秋收起义的一个营取得了联系，营长是张子清。他们是在井冈山周围盘旋打游击时，在遂川大汾突遭当地地主武装靖卫团袭击而与团部失去联系转到这里的。朱德、陈毅听说毛泽东率领的一部分秋收起义部队已上井冈山，就派原在国民革命军第二十五师政治部工作的毛泽东的胞弟毛泽覃前去联系。
