行馆后方是景致优雅的花园，从阳台则可远眺马公近海，并观察军舰进出马公港。胡宗南驻守澎湖时，还曾在三面临海的山坡上为蒋介石兴建了一座凉亭，东可望案山渔火，西眺西屿落霞，南面俯瞰台湾海峡，景色极佳，蒋介石之后每来澎湖早晚都要到亭中小憩。不过胡宗南于1962 年逝世后，蒋介石乃嘱军方重新修整凉亭，并亲自命名为“宗南亭”，并在澎湖林投公园为胡宗南树立铜像。
金门炮战结束后，澎湖贵宾馆继续充作“总统行馆”，并由“陆军总部”、澎湖防卫司令部管理，屋旁除了间供校级以上军官居住的招待所，并新建有一座居民自发募款筹建的“介寿亭”，以怀念蒋介石。蒋经国每到澎湖巡视防务与民生建设，或关心居民缺水、渔民生计问题，也都下榻贵宾馆，不时可看到他在此缅怀蒋介石、思考大政。据说中美断交前，蒋经国也曾在馆内会晤“美国大使”，商讨断交后双方关系事宜。
在行馆待了50 多年的侍卫刘晨曦也曾回忆，由于澎湖缺水，蒋经国有次到澎湖巡视，自己打理洗澡的事，结果隔天他发觉浴缸一滴水都没有，反倒是挂在一旁的毛巾布满污垢，原来蒋经国说，老百姓没水吃，我洗澡要用掉多少水，洗个脸就好。还有一次，蒋经国装着心脏导管，在医护人员搀扶下坐直升机到澎湖巡视，当时蒋经国还开玩笑地说，“老刘，这可能是我最后一次来看你了。”最后果真一语成谶。
蒋经国执政末期虽宣布解严，但因澎湖战地特性，贵宾馆仍维持原先闲人勿近的门禁管制，李登辉到澎湖视查，同样也下榻由军方严密看守的贵宾馆。直到1992 年，台湾军方宣布为纪念蒋介石诞辰，首度对外公开行馆内部陈设，才开始行馆开放事宜；之后军方同意将第一宾馆管理事务交还县政府，第一宾馆更被澎湖县政府宣布为县定古迹，并于2000 年冬天开始对外全面开放，供游客任意参观凭吊。
今日澎湖贵宾馆花木扶疏，位于马公市近郊观音亭海边与水产职校间，邻近澎湖青年活动中心旁，已经是澎湖当地著名景点。澎湖县政府观光局计划把行馆规划成为“马公市后花园”，除整修行馆四周景观，兴设人行步道、灯光及植栽，并将结合外围地区发展为具文艺、观光、游憩及消费等多功能的新商圈。
