为躲避战乱、逃离贫穷，伍秉鉴的先辈们决定举家迁离福建，南迁广东省南海县一带谋求生路。于是，一家人沿着海边长途跋涉、日夜兼程，最后终于到达广州西关一带。
估计连伍家自己也没想到，这一走，竟会使其命运逆转、家财万贯、声名鹊起。
来到这儿的伍家做了些什么呢？有句话叫“贫穷肚空，非盗即商”。意思是说落荒而逃的人不是做强盗，就是从商这两条出路。当强盗虽然有飞黄腾达的可能，但是风险也大，往往是命悬一线，弄不好连命都保不住。伍家祖辈几代人都是老老实实的庄稼人，干这一行恐怕不合适，于是就选择了后者，决定经商，结果一不小心经营出一个商业帝国来！
举家迁往广州西关后，伍秉鉴的祖辈伍灿廷改为从事小本生意，先从海边进些海货，然后四处叫卖，赚点零花钱。就这样，经过近十年的打拼，一家人的生活终于渐渐有了起色，于康熙二十年（1681年）有了属于自己的固定住所。
据记载，一同住在西关一带的人家，除了伍氏家族外，还有后来同为十三行之一的潘氏家族，但后来两家都举家迁往了河南（指珠江以南）。其中的伍家在河南海幢寺侧购地建花园式住宅，住宅名为“安海乡”。
当时的广州流行着这样一个说法：“宁要河北的一张床，不要河南一间房（指珠江以北、珠江以南）。”因此，广州的河北云集了众多达官贵人以及有钱的富裕人家，河北不仅成为了广州的繁华地带，更代表了一定的社会地位。
那么伍氏祖辈为什么会选择河南作为落脚地呢？这对伍家后来的发达起到了哪些积极影响？这其中又有何旺宅之谜呢？
从风水学上来分析，兴旺之宅“以水为财，财势滚滚”，也就是说位于某地水口的住宅财气会比较旺盛。而当时广州的白鹅潭恰恰位于三江汇合之处，早在秦汉年代它就是我国重要的对外贸易港口，称得上是财气最为旺盛的风水宝地。而伍家住宅“安海乡”所在地河南海幢寺附近正位于白鹅潭的东南方向，毗邻珠江，这使得伍家宅院聚绕很多财气，滋养了伍家财如水入的旺宅之势。伍秉鉴的祖上做梦也不会想到，他们为了躲避清初那场战乱的此次大迁徙会孕育出晚清历史上一个财富享誉全球的后代。
有人说这仅仅是历史的偶然，也有人说这是伍家祖辈几代人的造化，但事实会是怎样的呢？伍家祖辈几代人给了伍秉鉴这位首富怎样的遗传基因？为他塑造了一个怎样的成长环境？从他的父辈身上是否就已经显示出不同一般的经商才干呢？
