5月18日，日本军与当地番民发生了第一次战斗。5月22日，西乡率领的1900人的后队及给养运输船抵达琅峤湾，登陆射寮。同日200名日兵进攻石门，与80余名原住民发生了双方的第一次正面军事冲突，牡丹社酋长父子战死。随后日本扫荡了牡丹社等多个番社，并开始建兵营、修道路，造都督府，设医院，修桥梁，筑道路，开荒屯田，作长久之计，并向番民分发“烧饼旗”。总之一句话：不走了。7月21日，侵台日军指挥官西乡从道甚至宣布已经降服各社生番，大有开化番民，长久控制的势头。
但是，日军很快就遭遇了一个意料之外的强悍敌人，这个敌人就是大自然。
为了这次远征，日本筹备了1000只鸡、6万个鸡蛋、2300条鲑鱼、60箱干鳕鱼，还有大量的米、牛肉、咸鱼、各类蔬菜。貌似准备充分。可是日本当时并不具备远程运输的保鲜技术，后勤安排是按照常规的三到五天的行程计划的，而仅运往台湾就要十天，且不说台湾当地的炎热气候。结果就是肉和蔬菜到了台湾就腐烂生蛆，其他食物也发生了不同程度的变质。食物中毒加上传染病横行，共同给侵略者制造了一个灾难性的后果。
据参与是役的日本军医监落合回忆，当时日本士兵“所尝到的艰难辛苦，究非笔墨所能详述。在这海南绝岛瘴疠之地……粮食本不完备，又加上运输困难，常为泥路及险恶的斜坡所阻，战斗部队因此为饥渴所困，不知有多少次。有时只能靠腐烂发着恶臭的饭团充饥……加之地势炎热如灼，设备又极简陋，所谓帐营，也不过徒有其名，只是一块天幕，有二三个月在其间煎熬，以致全军都患痢疾，苦闷呻吟之声，惨不忍闻”。甚至有五个病号因无法忍受，三人自缢，二人跳海。病情最严重的时候，西乡本人跑了两三次医院，给他的勤务兵抓药。其身先示范的作风固然能收敛军心，但西乡自己却已经意识到，再耗下去，日军必然“自动瓦解”。据日军战后公布的数据，是役日军死于战事者仅12人，而死于疾病者则有550余名之多。
由于医药匮乏，到了9月末，病情已到了不可收拾的局面。日军全军几乎无一人能幸免。疫情最糟糕的时候，一天中连死13人，有近一半的士兵已丧失吃饭的力气。医护人员自身也罹患了一样的疾病倒卧在床。最后连服劳役的夫卒工作也只得雇佣附近的原住民协助。龟山分营的日本兵营连续两次被飓风吹倒，一开始日军还进行修复，但最后连修复的力气也没有了，竟任其倾倒在沙地上。同时，因为受到南海暴风肆虐的影响，粮食运输船无法靠岸，造成严重的军中缺粮现象。
士兵如此，那些本着“长治久安”的幻想来的移民们的境况更糟，“有从长崎来的商贩，分别经营屠牛店、荞麦店、豆腐店等，试图做军队的生意。刚开始的确门庭若市，但不到一个礼拜竟都罹患了恶疾，屠牛店、荞麦店皆有人死去，其余的人也纷纷搭船离去。”最后连棺木店的老板也病死了，这一点尤其令日军头疼，因为日、清丧葬的方式不同，所以日军只得选取简单材料，自行打造棺木。
