纵观王世襄一生的成就，不能不提到他的家族。或许，唯有那样的家世才能培养出一个“玩物成家”“研物立志”的王世襄。
1914年5月25日，在北京东城区的芳嘉园，王世襄呱呱坠地。这一年，距离辛亥革命成功仅仅不到三年的时间，第一次世界大战开始硝烟弥漫，且炮火正酣。整个世界处在一种急遽变化之中，所有的国家都在迅疾的变化中寻找着自己合适的位置。在中国，辛亥革命刚刚成功，旋即胜利果实却被袁世凯窃取，孙中山被迫将总统之位让于袁世凯。当上北洋政府总统的袁世凯依然不满足，开始秘密谋划做皇帝的美梦。
北京城内涌动着一股不安的情绪，时局混乱，民浮官躁，每一个有识之士都在扪心自问，中国未来的方向在哪里？外面世界的纷纷扰扰，却似乎一点也没有影响到襁褓之中的王世襄。他在父母构筑的世外桃源——芳嘉园中快乐成长，浑然不知外面世界的波谲云诡。
在芳嘉园，这个位于北京东城的四进深的四合院中，有着一股浓浓的平静，与外界的喧哗形成鲜明的对比。而这份平静，不仅仅是乱世中得以安居的物质保证，更是由于其家族深厚历史渊源所形成的浩然之气。
王世襄的家族史，可追溯到明代。先祖从江西迁往福建，成为福建的名门显族，其家风严谨，诗书绵延，世代居官。王世襄的高祖王庆云，曾在道光、咸丰年间做官，先后担任陕西、四川巡抚，四川、两广总督及工部尚书等要职，颇有政绩，在《清史稿》卷四百二十六、列传二百十三中有详细记载：
王庆云，字雁汀，福建闽县人。道光九年进士，选庶吉士，授编修。二十七年，大考一等，擢侍读学士，迁通政副使。庆云通知时事，尤究心财政，穷其利病，稽其出入。文宗即位求言，庆云疏请通言路，省例案，宽民力，重国计。其言重国计，略谓：“今岁入四千四五百万，岁出在四千万以下，田赋实征近止二千八百万。夫旱潦事出偶然，而岁岁轮流请缓；盐课岁额七百四十馀万，实征常不及五百万。生齿日增，而销盐日绌。南河经费，嘉庆时止百馀万，迩来递增至三百五六十万。入少出多，置之不问，思为一切苟且之计，何如取自有之财，详细讲求：地丁何以岁岁请缓？盐课何以处处绌销？河工何以年年报险？必得弊之所在而革除之。”奏入，上深韪焉。
