后来曹尔正被革去佐领的职位。官方史书就曹尔正的记载就这么多，若非包衣佐领采取奇特的世袭原则，而曹尔正的擢升对曹寅造成可观的影响，否则就可略而不论曹尔正。
如前所述，世袭的做法在正规旗制中频频出现，起因于皇帝有意以世袭的军功犒赏武勇，或有心让信得过的旗人家族掌理佐领。然而，由于包衣很少参战，无法取得相应的酬赏，所以包衣佐领很少或根本无法世袭继承。下五旗七十七个包衣佐领之中，大约只有百分之十二有常态的世袭继承；上三旗三十三个包衣佐领几乎没有世袭继承的现象，没有同一家族的名字重复出现或间接提及。92
这种状况并不奇怪，这只是佐证了我们的论断，包衣完全为他们的亲王或皇帝主子所主宰，对于个人生涯并无置喙的余地，而系出正规旗制的精英，他们会设法让自家的权势绵延。所以，对包衣家族而言，拥有官职就格外重要。曹尔正虽被革职，但他主掌包衣第五参领所辖佐领显然是曹家得以发迹的关键，也反映了曹家的地位正在上升。这个职位在曹尔正之后经过两人接掌，又落到他的侄子曹寅身上。93同时，1695年，包衣第五参领又增设一个佐领，十八世纪初接掌佐领的是曹寅的堂弟曹宜。94
曹家家势显然日益兴隆：第一代无足轻重，第二代富裕、受人敬重，到第三代曹振彦的次子曹玺，曹家已荣华富贵。曹玺（1630—1684）在长子曹寅于1658年出世时，是在北京内务府当差，而他成功的织造生涯尚未展开；不过，曹玺结了一门亲事，对于他日后的飞黄腾达多所帮助。
曹玺的妻子孙氏生于1632年，95二十出头就给皇子玄烨、即日后的康熙皇帝当保姆。96孙氏因而可能出身满旗，或许是上三旗包衣之一。根据1661年的清律（基本上认可了当时的通行惯例），凡上三旗的佐领与内管领必须载明辖内满十三岁的女子，97并且每年报知总管太监，再由总管太监奏禀皇上遴选。入选者进宫为宫女服侍皇上，有朝一日也有可能被皇上纳为妃嫔。98宫女年满二十五岁即被遣返回家。99当皇子即将出世时，总管太监会指示佐领与内管领上奏适合担任乳母或保姆名册，以供遴选。100曹寅的母亲就是保姆之一。
假使孙氏二十五岁出宫，她应该是在1656年返家；不久之后与曹玺完婚，长子曹寅于1658年10月3日出世。101皇子玄烨小时候，有一段时日与保姆们住在紫禁城外的内城家里。102内城是满洲旗人居住的区域，孙氏有可能在二十五岁之后，或者完婚之后，仍继续照顾玄烨。皇子绍承大统之后，显然还记得孙氏旧情，而特别给予关照。1684年，孙氏的丈夫辞世，康熙亲自登门吊慰。103 1699年，康熙第三次南巡，也特别召见孙氏。孙氏觐见康熙时，康熙脱口说出：“此吾家老人也。”104这种措辞类似我们所知他对孙氏的儿子所用的口吻。105这件事也许是虚构，但康熙确实亲笔写下
“萱瑞堂”三个字，当时有不少人记载了这件事情，并认为是空前未有的天恩。106不过皇上对孙氏的情感不可能对曹玺于1663年署理织造有任何影响，因为当时的康熙年仅九岁，左右仍有辅政大臣决断朝政。若留意曹玺尔后的生涯，以及儿子曹寅未来的一生，值得注意的是，曹家不光只是家势得之不易的包衣，也是皇上宠信的心腹。
