果然，分成三部分北撤的杜部，进入森林后很快就步入困境。车辆马匹陷入泥沼，无法行进，只得抛弃重装备，烧毁车辆大炮。到后来，兵员寸步难行，连随身携带的器具也不能不丢弃，只剩下一些重要的通信器材。部队在野人山丛林迷途，找不到走出的途径，又受到蚊虫蚂蟥的叮咬，毒蛇野兽的攻击。官兵饱受瘴疠侵袭而染疫病。
最糟的是，外界不能侦察到他们的位置，无法空投粮弹药品。但蒋介石仍然电告杜聿明，要绕道避开密支那北撤，没得到他的命令，不得入印。
这样在丛林里折腾了半个多月，蒋介石才改变心意，指示部队改道向印境的雷多前进。途中粮食耗尽后，官兵只能靠草根树皮果腹，等待美军飞机的空投。在这种断续面临断粮又缺药的情况下行军，最后抵达印度东部的雷多时，已是一九四二年七月二十五日。从五月十日全军北撤开始，一共走了两个半月，损失惨重。部队官兵衣着褴褛，人人面黄肌瘦，好像叫花子一样。坚持有尊严地返回国门的杜聿明，此时已染回归热，他是躺在担架上被抬入印度国境的。
按人数计算，第五军的新二十二师，当初入缅时有九千人，历次战斗伤亡两千人，撤退期间伤亡却达四千人，是战斗伤亡的一倍。到达印度时，只剩三千人。第九十六师情况也差不多。入缅时九千多人，战斗伤亡两千二百人，跨越野人山撤退，伤亡三千八百人。遭遇最惨的是战斗力强、在同古抵御日军曾有卓越战绩的第二○○师，撤退时遭到日军伏击，不但官兵伤亡惨重，而且师长戴安澜也因伤重不治。入缅时九千人的兵力，回国时只余半数。第五军总计四万两千人的兵力，撤离缅境后仅剩两万人。
相形之下，新三十八师在撤退期间运用反戈一击、以虚布防掩盖实退却等战术，使敌军不敢贸然追击，加上情报、侦察队发挥作用，使部队能够查明敌情而从容行动。与师本部失去联络的一一三团，也在与敌反复激战后，摆脱追兵，渡过钦敦江西进，最后抵达印境因帕尔，与师部会合。
撤退战术的良好运用，使得新三十八师成为远征军中唯一全身而退、伤亡最小的部队。
史迪威在开始西撤时，不愿乘坐美国陆军航空兵司令阿诺德（Henry Harley Arnold）派去接载他的飞机，而是带领属下的参谋和随从人员，携带最简单的随身武器，徒步行军，走向印度。沿途还收容了一些医疗队人员，一共一百余人，一直走到印度边境。
重庆方面有很长一段时间不知他的下落，事后也不能理解为什么一个二星中将，堂堂中国战区参谋长，要舍飞机不坐，很不“体面”地步行到印度。史迪威却认为，如果他在战况失利时就坐飞机逃跑，将来怎么有资格再指挥中国部队？不但如此，后来在会见各国记者时，他还坦承在缅甸“挨了一顿狠揍”，这对他是奇耻大辱。史迪威誓言一定要从印度打回去。
