这时，洪家关的贺氏族人，也拖儿带女逃到罗峪避难。
他们一见贺龙就口出怨言，尤其是一些富户和个别长辈，埋怨他“因为你一个人，弄得全族人都无家可归。”
这些话，深深地刺痛了贺龙的心。
他坚定地说：“我贺龙革命革定了!”贺英姐妹和绝大多数亲友都支持他，表示不管遇到什么困难，都跟贺龙干下去。
被打散的部队又逐渐收拢起来了。
贺龙总结了前次失败的教训，不同敌人硬拼。
6月，敌龙毓仁旅开始从桑植撤走，贺龙采用伏击战术，在小埠头全歼敌一个辎重连，击毙敌旅参谋长，缴获许多武器弹药，部队士气大振。
随后，又有一批溃散人员归队，还招收了一批新兵，到6月底，部队又扩大到一千五百余人。
不久，中共湖南省委先后派省军委主席黄鳌、湘西特委宣传部长陈协平、临澧县委书记汪毅夫、慈利县委书记邓侠清、湘西特委委员张一鸣等一批干部来到贺龙部队，并成立了以贺龙为书记的中共湘西前敌委员会，统一领导辖区内的工农武装和地方党工作。
8月1日，在南昌起义一周年的时候，工农革命军改称中国工农革命(红)军第四军，贺龙任军长，黄鳌为参谋长，陈协平任秘书长。
部队编为1个师、2个大队，贺锦斋任师长，张一鸣为党代表，王炳南、滕久云为大队长，以及文南甫、贺桂如、贺佩卿和刘玉阶等4个支队，全军共一千五百余人。
红四军成立后，虽然统一了编制，但部队还是自归自的原班人马，枪支也没有调整，而且成分复杂，思想混乱，对革命认识模糊。
为此，前敌委员会决定：对原有部队进行彻底改造，发展党员，加紧部队的训练；加强宣传工作，扩大红军政治影响，发动群众起来斗争。
部队刚开始整顿，中共湖南省委指示贺龙率红四军去石门县支持南乡暴动，并联合临澧、澧县、安乡一带武装，支持湘东的红军。
8月下旬，当贺龙率红四军到石门北乡磨岗隘时，发现南乡暴动已经失败。
贺龙与当地党组织研究决定，首先恢复、巩固和发展北乡，然后再夺取石门，向桃源、常德发展。
敌第十四军得知贺龙率红四军到了石门，就调集3个师的兵力和几个县的团防开赴石门，进攻红四军。
对这个严重情况，湖南省委和湘西特委没有向贺龙通报。
贺龙率红四军在磨岗隘活动十来天，又奔袭了澧县的大堰、王家厂，9月7日回到石门渫阳，第二天凌晨，遭到敌第十四军李云杰教导旅的突然袭击，参谋长黄鳌不幸中弹牺牲。
红四军退到泥沙镇，9日清晨，又遭敌人袭击，师长贺锦斋率部队掩护贺龙和前委撤退时，也壮烈牺牲。
与此同时，陈渠珍亦派了一个团在桑植团防陈策勋的配合下，袭击贺龙的后方机关，贺英姐妹的队伍被打散，妹妹满姑被捕，英勇就义。
红四军连续遭到敌人袭击，损失了军参谋长和师长两员大将，部队猛减至二百多人。
贺龙带着这二百多人转移到湖北鹤峰县堰垭人烟稀少的大山中。
此时，弹尽粮绝，缺吃少穿，无医少药。
到了冬天，他们只得穿单衣、草鞋，吃洋芋，睡山洞，盖柴草。
贺龙同大家一样，“连身上的衣服也换不下来”。
处境极为艰难。
有些人因受不了苦，偷偷地逃走，后来只剩下一百多人，真是到了山穷水尽的地步。
就在这极端危难的时刻，贺英于10月份率一部分游击队找到了堰垭，及时给贺龙送来了粮食、衣服、子弹和药材等急需的东西。
贺龙见到大姐，百感交集地说：“半年多来，我把部队组织起来，垮掉了，又组织起来，又垮掉了。
现在这支队伍不是我贺龙个人的，而是党的，是党领导的工农革命军。
我是党湘西前委的书记啊!肩上担子重，我能扛得起，就是对许多政策搞不清，怕给党带来不应有的损失……”
