最后，幸存者们在杨的长子杨阿才（一说女婿）的陪同下，于十二月二十二日出发，陆行三里登舟，行五六里水路，又陆行，夜半三更投宿到送行者的熟人家中，停留两日。二十五日，改由投宿处主人作向导，继续前进，途中每人得到棉衣一件——当然，又是不要钱的。最终，幸存者在二十九日被送到台湾府，再转送福州的琉球馆。根据清廷的官方记录，这些难民在居住期间按照“每人日给米一升，盐菜、银六厘”的标准款待，“回国之日，别给行粮一个月，照例加赏物件，折价给领于存公银内动支，一并造册报销”。如此这般之后，这些难民于明治五年六月二日回到琉球，继而前往那霸。在交通非常不便的当时，他们回到那霸的时间已经是明治五年的六月七日了。
这次惹祸的生番是高士猾社，但何以后来历史书中却以“牡丹社事件”流传至今呢？原因就出在当时牡丹社最强，而漂流民的登陆地点正好位于该社的势力范围内，故而很易于被当成事件主角。而事发当时，有一位叫刘天保的汉人在场，正好当时有一位他所认识的牡丹社番民前来贸易，刘到台不久，还不能熟练辨别各社番民，便误以为杀人的番民也是牡丹社成员，并据此告诉了杨友旺。后来救助漂流民的杨氏父子又看到现地有很多牡丹社成员出没（其实是闻讯赶来搜寻残余物品的），于是便进一步被误记成牡丹生番杀人。更有意思的是，杨将交换人质的酒肉给了这些牡丹社生蕃，而这些生番也果然带来了杨要救助的人，于是更加深了杨的认识。再后来，日军登陆，很多番社望风而降，唯有牡丹社、高士猾社与尔奈社顽强抵抗，由于其中牡丹社实力最强，所以承担了主要作战任务，这就使日军愈发认定：如果不是杀人心虚，何至如此？也才有了历史中众口一词的所谓“牡丹社事件”，其实应该称为“高士猾社事件”才对。
此外，同样是在1871年12月11日，琉球八重山岛民的两艘进贡船，同样从那霸出发驶往中国。同样中途不幸遇暴风。一艘下落不明，一艘于12月28日漂到台湾，这次45名幸存者及时受到了凤山县衙的保护，但这次事件在日本人当时的记录中却被“忽略”了。更有意思的是，到了1873年的3月8日，又有备中小田县（今冈山县小田郡笠冈町）的船员佐藤利八等四人遭遇海难，漂流到台东厅新港支厅成广粤沿岸番地。这次日本人的遭遇比琉球人幸运得多，虽被劫掠，但被一名路过的汉人救助，保住了性命。随后被送到台湾府，并于7月20日抵达上海日本领事馆，随后平安回到家中。
可是，在后来很多日本人写的历史中，却把这四个活人都算成了烈士。更主要的，日本政府不仅要控制台湾，而且要在台湾问题上连带解决琉球的归属问题，虽说琉球长期双向进贡，变成了一块“两属”之地，但仍很难说是日本的一部分。可日本却坚持称琉球在其主权范围之内，再进一步将两次海难混淆，声称被害者是“日本国民”，如明治天皇在任命征台总指挥的诏书中就使用了“向暴杀我国人者问罪”的文字。于是，高士猾生番社误杀琉球漂流民事件，就变成了牡丹社生番残杀日本国民事件了！
不过在当初，由于交通、通讯的不便捷，日本人是直到对台湾发起远征前夕，才获知第二次海难事件的。关于这一点的猫腻，后文还会提到。而最初，日本人是只知道琉球漂流民事件。但是，这已经足以让一些早已枕戈待旦的日本武士兴奋不已了。
