根据中共中央指示精神，经过充分的思想动员和组织准备，1944年11月10日，这支由三五九旅主力组成的“国民革命军第十八集团军独立第一游击支队”（简称“南下支队”），即由司令员王震、政治委员王首道率领告别延安，开始了南征。全支队分编为六个大队（其中第五、六大队是由随军南下干部组成），共约五千人。
11月20日，部队从绥德启程东进，于次日到达黄河西岸的螅蜊峪一带，用两天时间从这里渡过黄河，然后通过山西省离（石）临（县）公路，进入晋绥抗日根据地的吕梁山区。部队继续东进，很快逼近日军占据的同蒲铁路。
怎样通过同蒲路，是一大难题。日本侵略军在铁路沿线及附近地区派重兵把守，还有装甲车日夜巡逻。流经铁路西侧的汾河，西边是50多公里宽的平原。敌人利用汾河这一天然地形条件，在各重要渡口和桥梁两侧都筑有碉堡和岗楼，作为确保同蒲路的天然屏障。越过这道封锁线，才能取道南下。同时，阎锡山在孝义兑九峪一线构筑了工事，防我甚严。经请示中央军委，我军决定绕开阎锡山防区，设法从日军控制的汾阳、平遥地区越过同蒲路，对可能出现的种种困难做了充分的估计和相应的准备。敌有重兵把守，我们部队的行动必须高度机动和隐蔽。地形极为复杂，部队必须尽量轻装。供给部的骡马由27匹减至5匹，全支队的骡马减少一半。王震把从延安带来的被子和毛毯都精减了。战士们把随身携带的许多物品送给了当地群众。
12月4日拂晓，部队主力从雅儿崖出发，走小路翻过吕梁山的最高峰，山上积雪很厚，林梢被雪压得斜倒，道路被雪埋没，脚踩下去，雪到膝盖，前进艰难。6日下午到达阎家庄时，王震在雪地里作通过同蒲铁路的战斗动员。他用关羽过关斩将的典故，生动而风趣地说：“同志们！我们经过几天雪地行军，现在就要过关了。我们过的不是关云长过五关斩六将的关，而是同蒲铁路这一关。今天晚上，我们要走七八十里路，要准备通过五道封锁线：第一道是太原至汾阳的公路；第二道是汾河；第三道是同蒲铁路；第四道是和铁路平行的另一条公路；最后，第五道是日伪军专门对付我太岳军区的一道封锁线，沿山边各交通道口都筑了大量碉堡、岗楼和据点，实际上也是敌人确保晋中平原的前沿阵地。我们这次的任务是只过关，不斩将。我们要从敌人的那些像狗牙一样的据点当中，神不知鬼不觉地插过去。至于那些据点，我们暂且不去动它，相信它的寿命也不会很长了。同志们，你们有没有信心过这个关呀？”指战员们在寒风中齐声回答：“有！”王震又说：“但是，我们也要有斩将的准备。如果敌人出来打我们，你们说怎么办？”应声而起的是震动山岳的回答：“坚决把它消灭掉！”
12月7日下午，部队分成左右两个纵队向东南疾进，进入平川后天已近黑。整个部队处于临战状态，随时准备同敌人厮杀。走着走着，眼前出现一片白花花的冰滩。这是敌人为了割断延安与太岳、太行等根据地的陆路联络，扒开汾河的西大堤，放水淹没了这里的万顷良田，使这里的群众无家可归，无田可种。部队走在冰滩上，到处是人和牲口摔倒的声音。部队越过冰滩，跨过汾河便桥，快步走一个多小时，便看到了同蒲路。大家更紧张起来，有的揭开了手榴弹盖，有的打开了枪支的保险机，准备同敌人搏斗。当陈宗尧率领的右路纵队冲上铁路时，从平遥方向突然开来一辆敌人巡逻的铁甲车，接着向我猛烈开炮。这时，王震跃上铁路，指挥前卫部队反击敌人。一时间，手榴弹在敌人的铁甲车四周爆炸，步枪和机枪一齐射向敌人，敌人的铁甲车很快逃走了，我们的部队顺利通过了同蒲路。在这样的条件下，跨汾河，过同蒲，一夜行军90公里，在步兵史上也是罕见的。
部队越过同蒲铁路后，立即向南直插，进入太岳山区的绵上县、沁水县，准备从毛田渡南渡黄河。经过侦察，发现毛田渡上游不远一个拐弯处，正被坚冰封住，形成一座约有两米厚、三四十米宽的冰桥。12月27日，全军意外顺利地越过冰桥，进入河南境内。当地居民高兴地说：“民国十六年（1927年），黄河结过一次冰，此后17年，从来没有封冻过，今年又结了冰了”。他们说，这是“天意要八路军过河，老天爷帮助毛主席！”“你们真是‘得道多助’啊！”
