在冯杰时的六个儿女中，冯柏燎排行最小，他有两位兄长及三位姐姐。长兄早已离开家乡，到香港工作，任职于一家英国的国际电报公司。这家公司通过一个海底电缆系统将香港与世界联系起来，为香港社会带来快捷的电讯服务。比他年长10岁的二哥则在广州府台衙门办事，这使冯柏燎一家能经常得知国内最新的时局变动消息。在那个年代，中国政局风起云涌，中日甲午战争、维新变法运动、义和团运动以及孙中山发动的旨在推翻清王朝的辛亥革命等相继爆发。这些消息从广州、香港频繁地传来，使冯柏燎一家数代以来熟悉的乡村生活失去了原有的平静，也使少年的冯柏燎激起一股冲动，要到外边的世界闯一番事业。冯柏燎希望父亲送他到大哥所在的香港读书，学习西方的先进知识，接触更广阔的外部世界。父亲答应了他的要求。19世纪末，冯柏燎被送到香港皇仁书院学习，寄居于大哥家中。皇仁书院是香港第一所官办英文中学，也是香港现存历史最悠久的一所西式学校。入读皇仁书院无疑成为冯柏燎一生乃至冯氏家族事业发展的重要转折点。
皇仁书院创办于1862年，初期称中央书院，1889年迁往中环鸭巴甸街，并改名为维多利亚书院，1894年正名为皇仁书院。19世纪60年代，香港的版图扩大到九龙半岛，人口骤增至10万人，社会经济逐渐进入巩固、稳定时期。一些在香港具有悠久历史的大型工商机构，如汇丰银行、九龙仓、黄埔船坞等，都在这一时期创设。1860年，香港总督不再兼任英国驻华贸易总监及全权大臣职位，香港政府开始设立文官制度。经济、政治的一系列发展，大大增加了香港社会对英语人才的需求。香港早期的教育，以教会开办的学校为主，其中较具规模的有马礼逊教会学校和伦敦传道会学校。这些教会学校多设于中国人和外国人聚居的港岛中、上环地区。不过，这些学校并不受欢迎，原因是它们以传播福音为主，目的是要培训一些华人传教士。入读的学生大多来自中国的贫穷家庭，主要是为了学习英文。
1861年，香港政府接受英国人理雅各（JamesLegge）的建议，对香港的教育制度进行改革，以培训香港所需要的实用人才。为此，港英政府创办了中央书院。中央书院设于港岛中环歌赋街，以英国的文法学校为模式。学校于1862年2月开学，注册学生有200名。根据理雅各的计划，中央书院是一所中英文并重的英国模式学校，英文课程主要是初级的，着重语文学习，如阅读、拼音、文法、作句等。中央书院从创办开始，就受到香港以及邻近的华南省份居民的欢迎，报考人数远远超过该校提供的学位。1865年，中央书院开始收取学费，但报考人数仍有增无减。入读中央书院的学生大多来自香港以及邻近地区的中等收入家庭，这些学生不但能交付学费，而且学习目的明确，学习也相当刻苦，与早期教会学校及官立乡村学校的学生多来自贫苦家庭有很大不同。
中央书院之所以大受欢迎，主要原因就是英语在当时香港社会中的“商业价值”。“早期的学生，经过两三年初级英语训练后，其薪酬便远远超过中文教师或其他职业的雇员。根据格温尼斯（Gwenneth）和钟·斯托克斯（JohnStokes）的解释：‘英语带来的金钱，使对西方毫无认识的家长都愿意付出学费，送子弟前来就读。’一位曾就读该校的早期学生，在其回忆录中亦有这样的解释：‘学生的家长多为商人，并不期望儿子成为学者；主要是要他们好好学习英语，拓展父业。’”
