由于位居要津，“二战”时期，西子湾被日军占为基地与海防据点，海水浴场不再，长堤上筑起军事碉堡，日本海军并将西子湾畔北侧一栋由高雄医师彭清约于1937 年所建二层楼和风西式建筑征收为军官俱乐部，也就是西子湾宾馆前身。1945 年抗战胜利后，此屋则由海军总司令部接收，作为贵宾招待所，称“寿山官邸”。
1949 年5 月25 日，结束长达十天在澎湖的徘徊，在孙立人保证下，蒋介石搭机飞往高雄冈山，再登舰转往寿山旁港口登岸，并检阅孙立人为他训练的新军，是以西子湾海军招待所成了蒋介石1949 年在台湾本岛落脚的第一个行馆。蒋介石在当天日记上没有提到为何在台海间徘徊不前，只记载，“到冈山下机，叔铭【3】 来迎，直上高雄要塞之寿山官邸，背山面海，坐北向南，林木葱笼，神悦心怡，不胜自得之至。”
【注释】
1. 全台第一座洋楼，系由天利洋行于1865 年（同治四年）2 月，在西子湾畔哨船头小山丘兴建，是当时英国掌理海关税务工作的重要据点。
2. 同样位于西子湾，裕仁抵达高雄视察时，夜宿于殖民政府特地为他兴建的寿山馆。此处并非日后的蒋介石行馆， 但风景清幽，裕仁曾利用时间登寿山观赏风景。裕仁离台后，寿山馆也成为日皇宗室度假憩息之处。日本人同时在当地筹建森林公园与登山公路。寿山并于1926 年被日本报刊选为“台湾八景”之一。
3. 王叔铭（1905 年10 月16 日-1998 年10 月28 日），本名醺，号叔铭。山东诸城人。黄埔军官学校第一期，历任美籍志愿军大队中国人员管理处主任、空军军官学校教育长等职。1946 年6 月，调任空军总司令部少将副总司令，1952 年3 月， 升任“空军总司令”。1957 年升任“参谋总长”。曾任“驻约旦王国大使”、“总统府战略顾问”。1998 年病逝台北，享寿92 岁。
草拟防守及治理台湾计划，首重建特务机构
在行馆落脚的蒋介石，除了登寿山、视察要塞与部队，召见第十二兵团司令胡琏【4】，指示出兵打通后方补给地潮汕准备保卫台湾外；由于东南战事紧张，蒋介石此次赴台行程从舟山群岛搭机离开大陆开始，一直保持高度保密，并不对外泄漏，以策安全。
