由于西子湾行馆算是较正式的贵宾会见场所，因此相较之下，各项摆设都比较讲究。例如：目前行馆保存的餐具就是为接待侯赛因特地从台北的“总统府”搬运而来；行馆客厅皮制沙发椅是蒋介石由南京运来；餐厅内别具南国风味的贝壳沙发则由前高雄市长陈启州呈献。行馆车库停放1948 年出厂的美国Packard轿车，是蒋介石来台前在南京的座车，1949 年从南京运到台北，再从台北运到高雄；直到1955 年蒋介石赴金门视察，这部座车还曾运到金门供蒋介石乘坐。
1964 年，宋美龄最宠爱的幺孙蒋孝勇前往位于南台湾高雄的“陆军官校”预备班就读，继蒋孝文与蒋孝武都无法就读军校之后，蒋孝勇选择在军校就读，成了蒋介石的希望所系，更是台湾当局对外宣传的正面焦点；尤其蒋孝勇聪明伶俐，课业优秀，让“两蒋”都寄予厚望。据说蒋孝勇就是在这段时间，还利用休假日到行馆庭院筹设了鸟园。
只是运气不好的蒋孝勇，竟然于1969 年在军校一次演训中伤了右脚踝，由于没有实时妥善治疗，导致软骨硬化，甚至连动两次大手术，才把软骨取了出来。当时蒋介石南下巡视，已改住较安静的澄清湖行馆，不过西子湾宾馆仍是门禁森严的招待所，蒋孝勇在这段养病期间，就在西子湾行馆内静养。宋美龄也曾多次前往探视。
1969 年2 月24 日，蒋介石还写了封信给蒋孝勇，信中说：“昨闻你已病入医院，不胜系念。今特写信交武孙带来慰问，如你下周仍未痊愈，我与祖母就要南来看你，想与你同住几日；在西子湾养病或比医院为佳易愈也。余不多言，望早痊愈。”日后蒋介石还手书“持志养气、耐心养病”，希望为幺孙打气。只是受脚踝伤势影响，蒋孝勇已无法负担军事操练，最终还是放弃了军校梦，返回台北赴台大政治系就读。
蒋介石去世后行馆开放
蒋介石去世后，在蒋经国推动下，西子湾行馆于1977 年由“总统府”核定改移交高雄市政府接管，并改为蒋介石纪念馆，同时全面开放西子湾风景区供民众游览。
行馆陈设方面，一楼餐桌、餐具仍原物呈现。二楼有主卧室、蒋介石及夫人办公室各一间。办公室有文房四宝、蒋介石亲写的“澄清楼”匾额，及宋美龄手绘国画《长相左右》。走廊两侧挂了一张张蒋家生活照，还有手摇式电话、自上海运来的老式烤箱等设施；蒋介石座车停放在车库内，虽有发动保养，但不再开出去。蒋孝勇兴辟的鸟园虽尚存，但只剩几只老鸟。
蒋经国随后指示在西子湾办理“中山大学”复校，并由亲信李焕于1980 年出任第一届校长，当地除海水浴场外，其余约45 公顷都被划入“中山大学”。为拓展校地，“中山大学”也划走了部分的行馆庭院，因此行馆愈缩愈小，缩在校园的一角，管理权也由市政府移交给“中山大学”。1999 年，“中山大学”重新整修行馆，重新粉刷，把原来的木窗改为铝门窗，随后将侍卫室、起居室、浴室及厨房改为约270 平方米空间的艺廊，其余如大厅、卧室等则保持原状，开放公众参观。
