像陈兰彬这样一个人，他生来只习惯于看到被压抑的青春，不能发挥的活力和独立精神，以及不能把真诚坦率形之于外的举止。因此他对目前这些留学生的行为不能不感到奇怪，而且认为都是大逆不道的行径。这些学生到新英格兰以后，一旦解除了他们心灵上的沉重压抑和约束，当然会因为得到自由而欣喜苦狂。”
“生来只习惯于看到压抑的青春”的人，还不止陈兰彬一人。
继任肄业局委员的吴嘉善，这位同样出身翰林的老爷，视留美幼童与国内私塾的学生无异，不料幼童们在其接见时，均不行跪拜礼，顿时大怒：小小年纪便目无尊长，这还了得？且不说现在还没有成材，即使学业有成也不能为中国所用！立即上奏要求将幼童撤回。
国内攻击幼童事业的声音也一直没有消歇过。光绪六年十一月（公元1880年12月），一位叫李文彬的御史上了一个折子，弹劾留美幼童，“多入耶稣教门，其寄回家信有‘入教恨晚死不易志’等语。……或习为游戏，或流入异教，非徒无益，反致有损，关系实非浅鲜”。
总理衙门接连听到对留美幼童事业不利的声音，开始征求重臣及相关人士之意见，有的主张全撤，有的主张半撤半留，有的主张整顿。而主张全撤者占据主流，尤其是借助幼童留美事业摆脱仕途不顺，登上驻华盛顿全权公使高位的陈兰彬，给了这项事业最后一击。他在奏折中说：“外洋风俗，流弊多端，各学生腹少儒书，德性未坚，尚未究彼技能，先已沾其恶习，即便竭力整顿，亦觉防范难周，亟应将该局裁撤。”总理衙门即据陈兰彬之奏，作出了“将出洋学生一律调回”的决定。
这一决定让所有关心中国现代化进程的人深为失望。由耶鲁大学校长波特执笔，美国多位文化名人联名给总理衙门写了一封信，力请中国政府收回成命。当时因华人劳工问题，美国国内兴起排华浪潮，这些名人盛赞幼童的行为，“使许多无知者和不怀好意的人对中国的偏见逐渐消失，而代之以称赞。”包括美国前总统格兰特也积极游说，但均未能让清廷改变决定。光绪七年（公元1881年）七月，中国幼童奉命辍学撤退回国。当幼童由美国撤回时，全体幼童中，只有詹天佑等两人大学毕业。诚如温秉忠所言：“大多数再过一两年即可毕业，中途荒废学业，令人悲愤异常。”
好不容易迈出一步的脚又收了回来，谁该为此负责？
按照容闳的意见，首当其冲者是陈兰彬和吴嘉善。他在回忆录中愤怒地指责陈兰彬是“对任何事都不敢负责任的胆小怕事的懦夫”，而吴嘉善则应该“送进疯人院或低能者教养所”；其次则是在朝中位高权重、又是幼童留美事业主持人的李鸿章。容闳批评李鸿章“不曾挺身而出为学生说话，反而站到保守派一方，同意招回留学生。”
后来的研究者基本都沿袭了容闳的观点，无论是撰《剑桥晚清史》的西方汉学家还是大陆学者，在他们笔下，陈兰彬、吴嘉善卑鄙而自私，而李鸿章则首鼠两端。细按史料，这种说法颇值商榷。陈兰彬、吴嘉善并非顽固不化的人物，像吴嘉善还是个“精研数理”、撰有《算数二十一种》的数学家，从史料中也没有发现他们在道德上有多么严重的污点。而李鸿章在风波中的言行，置身异域的容闳哪能了解得十分真切呢？
