1931年5月，出狱不久的刘志丹又根据中共陕西省委的指示，打进了平凉甘军新编十三师陈璋部，开展兵运工作。
陈璋是个开油坊起家的小军阀。他当时虽然被蒋介石封为师长，驻守平凉，统治陇东14个县，但他与周边的军阀交恶，四面楚歌，处境不利，急需帮助。所以，他虽然知道刘志丹是共产党人，却仍然想利用刘志丹的才干和威望，扩充自己的实力。刘志丹也借此以陈的名山义成立了一个旅，号称十一旅，自任旅长，招兵买马，寻机兵变。
这期间，中共陕西省委制定了一个策动甘肃五个旅兵变、建立桥山根据地的计划，并委派与刘志丹多次交往的高岗去平凉与刘志丹商讨兵变事宜。
关于高岗与刘志丹在这期间的联系情况，长期与高岗在一起工作的张秀山曾经有过如下回忆：
当时高岗在十一旅没有职务，他是陕西省委和刘志丹联系的人。记得我们在盘克塬活动时，高岗和我曾在一个小庙里给陕西省委写过密信报告情况。因为志丹在旅部时身边还有非党员，所以要避开，在小庙里草写。密信是先公开写几句问候话，然后在背面用白矾水写报告，对方收到信后，用碘酒一涂，字就显出来了。《刘志丹纪念文集》，军事科学出版社2003年9月版，第297页。
然而，这些单纯的兵变明显带有盲动的痕迹，过多依赖于军阀，没有和农民运动相结合，因而都没有取得成功，刘志丹的十一旅也在与陈璋冲突中被打散。
部队被打散后，刘志丹只身回到了南梁堡，高岗则又返回了驻西安的陕西省委。
几年的兵运工作屡战屡败，使刘志丹、谢子长为代表的西北共产党人认识到利用军阀搞兵运是很难成功的，必须建立党独立领导的革命武装，走建立革命根据地的道路，才能发展壮大革命力量。
恰在此时，阎红彦领导的中国工农红军晋西游击队西渡黄河，进入陕北，为西北革命根据地的发展带来了新的生机。
阎红彦，这位后来在“文化大革命”中被林彪、“四人帮”迫害致死的陕北硬汉，1909年9月出生在陕西省安定县（今子长县）瓦窑堡的贫苦农民家庭。1924年，不满15岁的阎红彦就因生活所迫，到陕北地方军阀部队石谦团驻安定县的李象九连当了一名勤务兵。
李象九是共产党员，他领导的这个连革命气息浓郁，使阎红彦迅速成长。1925年4月，不满16岁的阎红彦便由李象九介绍加入了中国共产党。
1927年10月，阎红彦跟随李象九参加了清涧起义。1931年初，中共中央北方局决定从陕北抽调一部分干部，到山西组建红军游击队，阎红彦奉命东渡黄河，来到太原。在中共山西省委的领导下，1931年4月下旬，中国工农红军西北游击队第一大队（简称晋西游击队）正式成立，大队长拓克宽，副大队长阎红彦、吴岱峰，政委黄子文，支部书记杨重远。
1931年夏，晋西游击队遭敌人重兵围击，被迫西进。9月3日，仅剩30余人的游击队乘坐羊皮筏子，渡过黄河天险，进入陕北高原。
到陕北后，9月6日，游击队领导层进行了改选。在战斗中机智勇敢的阎红彦被公推为大队长，吴岱峰为副大队长，杨重远为政委。9月8日，部队来到了阎红彦的老家安定县，与中共安定县委书记马文瑞接上了头，并通过马文瑞找到了中共陕北特委，游击队也迅速地由30多人扩大到100多人。
10月下旬，晋西游击队转战到陕甘交界的南梁堡地区，找到了在这里活动的刘志丹。战友相见，分外高兴，阎红彦还把一支自己心爱的驳壳枪送给了刘志丹。
南梁堡位于桥山山脉的中段，地处陕甘两省边界，反动力量统治薄弱，地理位置十分优越，是积粮屯兵、建立革命根据地的理想之地。刘志丹于陈璋部兵变失败后来到这里，很快又拉起了一支几百人的武装。这支武装与晋西游击队会合后，实力大增，成为中共陕西省委领导的主要武装力量。
为了加强对这支由共产党直接领导的武装力量的领导，10月30日，中共陕西省委派谢子长、高岗来到了南梁。俩人来到部队后，向部队传达了省委的指示，成立了新的队委会，由谢子长任书记，刘志丹、阎红彦、杨重远、高岗等为委员。
从此，高岗开始了在党独立领导的革命军队里开展革命斗争的军旅生涯。
