南部临战指挥情治中心，三道金属制重门可防辐射
1952 年，海军总部奉命将这栋建筑物移交“总统府”第三局接管，整修后作为蒋介石在南部“驻跸”之所，并且定名为“西子湾行馆”。由于西子湾背山面海，蒋介石在此心情倍感舒畅，因此时常同宋美龄南下“驻跸”。尤其自1951到1966 年间，每年6 月16 日“陆军官校”校庆，蒋介石都会亲自南下主持，并住在行馆中。
两层楼的西子湾行馆，绿墙白瓦，每层楼面积约429 平方米，绿色外观和蓊郁林木相互掩映，建筑多处可见匠心，行馆内古木、花台、石灯、奇花、小桥、池塘的庭园造景优雅，可眺望西子湾美景。附近几栋较小房舍由警卫与随从人员居住，分别由木构的过水廊道连接，廊道动线与内部空间紧密接合，廊道屋瓦材料则与主体建筑相同。
西子湾沙滩广阔，风景宜人，蒋介石与宋美龄常常在西子湾沙滩散步、观落日，当时担任戒备的海军为保安全，常派驱逐舰警戒，并派一排陆战队士兵与两辆水陆两用战车滩头防卫。事实上，“要塞警备森严，像一道城墙一样，根本没有办法进去，再加‘总统府’内部警备森严…… 恐怕还有电网地道”。
1958 年金门炮战期间，蒋介石也曾长时间住在西子湾行馆，与金门防卫司令部讨论战术指导，并由此赴澎湖督运军用物品，每日办公均在十小时以上，前后长达一个月。为担负军事指挥功能，台湾军方也在寿山邻近蒋介石行馆处设置地下临时战情指挥中心，地势东高西低，入口两处，除有碉堡式警卫室，并具防原子辐射功能，三道金属制重门厚均超过十厘米。
指挥所内外都有发电室，通风良好；内部石壁外加一层金属皮，通道仅可容两人侧身而过，每隔一段路就会有凹进墙壁的警备空间，不过战情中心仅数平方米大，房中有日光灯、吊灯等设备，并铺有木地板，平均高度约两米。尤其第三道门内通道有处莲蓬头，应该是进入防原子辐射指挥所内冲去辐射物用，不过目前早已荒废数十年。
蒋孝勇曾养伤外宾来台时，西子湾行馆也是蒋介石在南台湾重要的宴会场所，例如蒋介石于1957 年即在此处接待访问台湾地区的约旦国王侯赛因。又如伊朗国王巴列维于1958 年访问台湾地区，也是到南部参观海军基地与三军演习，并由蒋介石在西子湾晚宴；不过由于西子湾行馆空间较小，因此蒋介石当晚系安排巴列维赴高雄圆山饭店休息。1960 年，越南总统吴庭艳访台，蒋介石也是选在西子湾行馆与他餐叙，就军事问题交换意见。
