蒋介石出兵要求受阻后，继续利用“白团”训练国民党军队。继圆山训练所之后，蒋介石又下令在北投设立一个指挥官训练场，叫做石牌训练所。此外，又在台北南面的新竹县湖口建立了一个训练所。“白团”的成员也开始增多，1950年下半年又有10名日本军官加入“白团”，至1951年“白团”成员总共有83人。“白团”成员多数毕业于日本陆军大学与日本海军大学，在旧日军里大都是中级干部，属于兵团参谋长或团长。比较晚来的成员，也是以化名方式搭乘中国籍的运蕉船来到台湾的。“白团”成员长期不公开身份，被后人称作“覆面部队”。
国民党部分将领对“白团”来台湾持反对意见，其中以陈诚和孙立人为代表。特别是孙立人将军对“白团”最不服气。孙立人时任国民党军队陆军总司令，曾在抗战中率领远征军重创过日军。对于昔日的手下败将，孙立人对“白团”的顾问们根本不放在眼里。孙立人直接对“白团”成员说，跟他们没有什么好学的，而美国可以学的就比较多。孙立人还称病拒绝观摩“白团”的演习，也回避与“白团”的日军顾问们接触。为了让这些将领改变态度，1953年，蒋介石要求“白团”策划了一次联合作战演习，陈诚、孙立人都到场观察。演习持续了两个多小时，全部是实弹演习，这种情况连观察演习的人也没经历过，震撼很大。看过演习之后，陈诚、孙立人等人对于日本“白团”就不再反对了。
“白团”在台湾的活动大体分为以下内容：一是在台北圆山训练所，进行短期训练，参加的主要是国民党中下级军事指挥官；二是指定国民党陆军第三十二师作为模范中山师团，由“白团”选出数十名教官进行训练；三是设立石牌训练所“实践学社”，相当于旧日本陆军大学和海军大学，对国民党高级军官长期进行军事教育。
新竹湖口的国民党陆军32师的训练情况值得一提。当初蒋介石把32师交给“白团”训练时就提出了要求，希望他们能够对军官进行一对一实战训练，能把三十二师训练成中山师、模范师，然后由其他师团来模仿。
“白团”的训练与美军的完全不同。比如，“白团”教官要求炮兵一炮就要命中一个目标，训练每发必中；工兵则训练如何利用现有竹林、树林等物资的方法。同时，对旧日本军队的教练、演习、战斗等基本方针的教材改良成中国式。他们还学习美军突击射击的战法，一边突击冲锋，一边射击，把这些战斗技术用到三十二师的训练中。国民党三十二师预计进行一年的训练，但实际上最后花了一年半的时间。
“白团”只对国民党三十二师进行了整个师的训练教育，其他师则是观摩三十二师的训练，学习后再模仿实施。三十二师训练完成后进行演习，由蒋介石检阅。后来，三十二师成为国民党军中“最优秀”的部队，部署在士林蒋介石官邸的周围。
石牌“实践学社”，时间长达20多年，训练了国民党军队中的中青年军官近万人。蒋介石在石牌“实践学社”投入了大量经费，一个国民党军官曾经感叹：国民党军中哪有像石牌这样用钱方便的。
尽管蒋介石对“白团”一事严格保密，但美国早就知道这回事。1950年3月，盟军麦克阿瑟总部就对冈村宁茨发出过警告：你们为中国方面奔走，招募日本旧军人，组织义勇队偷渡前往台湾一事，现奉麦帅指示，日本人此种行为，应予严格禁止。若有违规，即予逮捕判刑，盼转告你过去的旧部，勿蹈法网。不过，盟军只是警告而已，实际上是睁只眼闭只眼，并未真正进行调查，并采取行动。朝鲜战争结束后，美国大批军事顾问团来到了台湾，“白团”就不得不减少成员，一部分人回了日本。
蒋介石败退台湾后始终不忘反攻大陆。他邀请“白团”到台湾训练部队就是为反攻大陆做准备。“白团”在给国民党军官上课或训练时，就是以大陆为假想敌和作战地区的。蒋介石与“白团”每年聚餐一次，每次蒋介石在聚餐会上都会说他想反攻大陆的事。后来，蒋介石在聚餐会上不得不遗憾地说，自己老了，体力也支持不了了，不能反攻大陆了。不过，在强盛的中华人民共和国面前，蒋介石就是不老，也无能力反攻大陆。蒋介石反攻大陆的计划只能停留在计划上，只能是个梦想，日本军国主义余孽“白团”也帮不了他。
