论及高岗的兵运工作，还应当从刘志丹的武装斗争讲起。
刘志丹、谢子长与高岗可谓校友，三人都曾经在榆林中学读书。但高岗入榆林中学的1925年，刘志丹已经是大名鼎鼎的黄埔军校的高才生，谢子长则是在北京开展秘密工作的中共党员。
刘志丹是1925年末，被中共党组织选派到黄埔军校第四期学习的。1926年秋，刘志丹从黄埔军校毕业后随军参加了东征。同年冬，奉派赴国民军联军第四路军马鸿逵部任党代表兼政治处长。次年春，又作为国民革命军第二集团军总司令的代表，去豫西收编军阀吴佩孚部所属的刘镇华部。
1927年大革命失败后，刘志丹返回陕西，担任中共陕西省委交通。1928年春，按照省委的部署，刘志丹与唐澍、谢子长等来到归属于军阀李虎臣部的新编第三旅许权中（中共党员）部，准备举行武装起义。
许权中旅是1927年7月以西安中山军事学校和国民军联军驻陕总司令部政治保卫部领导的政治保卫队的成员为骨干组建的。全旅有1200多人，其中有160多名共产党员，是一支在中国共产党控制下的武装力量。刘志丹等来到许权中旅后，党的领导力量进一步加强，部队驻地附近的农民运动也在党的领导下迅速发展。武装起义的条件逐步成熟。1928年3月18日，中共中央作出《关于陕西工作决议案》，提出：“工农武装暴动，实行土地革命，建设苏维埃政权，无疑的是陕西革命发展的前途。”按照中共中央的决定，中共陕西省委加紧了武装暴动的准备工作。
1928年5月10日，震动全国的渭华起义爆发，“西北工农革命军”和“西北工农革命军事委员会”宣告成立。工农革命军由唐澍任司令，刘志丹任军事委员会主席，谢子长任军事委员会委员兼西北工农革命军第二大队队长（共四个大队），王泰吉任参谋长，许权中任总顾问。
同年8月，渭华起义失败，刘志丹、谢子长又回到了西安。
同年秋，省委任命刘志丹为中共陕北特委军委书记，谢子长为委员，返回陕北，开展兵运工作。
陕北特委是1928年4月正式成立的。特委下辖榆林、神木、延安等八个县委，三个直属区委及一个直属支部。1929年四五月间，特委在榆林红石峡举行扩大会议，研究加强武装斗争等问题，刘志丹出席了会议。会议提出，武装斗争有三种形式：白色的（兵运工作）、灰色的（改造土匪）、红色的（建立革命武装）。在当前形势下，应以做兵运工作为主。
红石峡会议对于党在陕北领导的武装斗争产生了重要影响。这次会议提出党在搞工运、农运、学运的同时，要将今后工作的重点由学运、农运转到兵运上来。并要求大部分党员要打入国民党内部去做兵运工作，“借水养鱼”，以建立中共领导的人民武装。会后，刘志丹来到延安布置贯彻会议精神，向当时正在延安的高岗等中共党员传达了会议的主要内容。
在红石峡会议之前，高岗已经在组织的安排下，化名为“高岗”，打入国民党延安县党部，任党部录事，开展地下工作了。红石峡会议之后，高岗等决定在国民党军驻延安高双成部搞一次兵变，拉出一批部队开展独立的武装斗争。但在即将举行兵变之际却因内部出了叛徒而导致兵变流产，高岗也险些被敌人抓住，后在友人的帮助下从污水洞爬出城外，才化险为夷。
1930年春，军阀冯玉祥为准备中原大战，把甘肃、宁夏的主力部队调到了河南一线。为了控制后方，冯玉祥委任包头土匪出身的苏雨生为骑兵四师师长，留守宁夏平罗。招兵买马、扩展地盘，是土匪、军阀共有的本性。苏雨生见有机可乘，认为这正是扩充自己势力的好机会，便树起大旗，广招兵马，来者不拒。
张东蛟中共陕北特委抓住这一开展兵运工作的有利时机，先后派遣谢子长、刘志丹等一批共产党员，打入苏雨生部。
苏雨生部第八旅第十五团团长王子元，与谢子长、刘志丹相识，比较开明，愿意借助一些年轻有为的先进分子来扩充自己的实力。于是，中共陕北特委决定把该团作为兵运的重点，先后派遣共产党员张东蛟、高岗、张秀山、贺晋年、高鹏飞等到该团，秘密开展兵运工作。
为了培养一支中国共产党直接领导的武装力量，1930年5月，
中共陕北特委经与王子元协商，在贺兰县李岗堡成立了一个学兵队。双方商定：学兵队归属王子元部，但由共产党员领导，并任命张东蛟、高岗为学兵队正副队长。
张东蛟，1903年出生于横山县高镇乡张家洼村，既是高岗的同乡，又曾经共同在横山“一高”读书。
他先后入保定军校、黄埔军校学习，并在黄埔军校学习期间加入了中国共产党。从黄埔军校毕业后，张东蛟被派往国民革命军第一集团军第四十七军，参加了反奉战争，并升任连长。大革命失败后，他辗转于宁夏、甘肃、北平、南京等地，从事革命活动。1930年初打入王子元部后，张东蛟被委任为少校团副，不久又担任了学兵队队长。
学兵队共有40多人，多数是共产党员。这支由中国共产党组织直接掌握的革命武装，不同于一般军阀部队那种单调、呆板的机械训练。高岗与张东蛟等在对学员进行军事训练的同时，加强了对学员的革命思想教育，也注重活跃士兵的文化生活。学兵队内还秘密成立了中共特别支部，由张东蛟任书记，高岗为副书记。
同年秋，学兵队结业，编入王子元团学兵连。此时张东蛟升任副团长，高岗被任命为学兵连连长。
苏雨生在宁夏大肆扩充实力，威胁到“五马”（马鸿逵、马鸿宾、马步青、马步芳、马青宛）在宁夏的统治地位，引发了“五马”与苏雨生之间的军阀混战。乌合之众的苏雨生部哪里是“马家军”的对手，一触即溃，四分五裂。刘志丹、谢子长借机带领着中共控制的一部分队伍，包括王子元团的学兵连，转移到了甘肃的庆阳地区。
刘志丹、谢子长的卓越军事才能使他们在陕甘土匪当中也很有威望，庆阳地区的五属清乡司令谭世麟见二人率部到来，便想笼为己有，主动提出要收编这支武装。陕北特委为了保存这支党所控制的武装力量，也想“借水养鱼”，便接受了改编。于是，刘志丹、谢子长率领的部队被编为庆阳五属清乡司令部直辖第三团，谢子长为团长，刘志丹为副团长，驻守陕西吴起镇三道川一带。
不料，正当部队积极扩充、准备寻机起义的时候，遭到了原苏雨生部八旅十六团团长张廷芝的袭击，部队在三道川被打散。
三道川兵败后，刘志丹、谢子长去向陕北特委汇报情况，高岗则辗转回到了老家高家沟。
据杨芝芳老人回忆，高岗是在年末回来的。当时高岗的哥哥高崇义的媳妇已经病逝，老实巴交的高崇义也无力续弦。高岗见状，便出面张罗帮助哥哥娶了第二个老婆，然后与杨芝芳和孩子一道，离开了高家沟。
