1909年，袁世凯被摄政王载灃开缺回籍。在彰德府洹上村隐居的三年里，袁世凯像一个真正的地主老财，有时间也有闲心来经营这个大家庭，他让众多的太太们有事可干，发挥她们各自的厨艺和才艺，这样也就省下不少家事的摩擦和纠纷。袁静雪在《我的父亲袁世凯》一文中描述了一幅其乐融融趣意盎然的家庭“和谐图”：父亲袁世凯开辟了菜园、瓜园、果木园、桑园等各种园子，也饲养了猪、羊、鸡、鸭之类的家畜家禽，以备全家上下日常食用。他整修了一座花园，取名“养寿园”。他雇人在养寿园里叠石为山，栽种了很多花草和桃、杏、枣等果树；还把洹水引进园里，开凿了一个大水池，池里种植了一些荷、菱之类，养殖了很多鱼，因为袁世凯喜欢吃二夫人做的熏鱼。袁家人也喜欢用高粱米和芝麻来喂养螃蟹，等到秋深蟹肥的时候，全家都兴高采烈地捕来吃。在这个大水池内，还修了一座池心亭，必须坐船才能到达亭上。每年夏季或月圆的时候，袁世凯常和全家人划船过去，在那里吃饭赏月。次子袁克文也在《洹上私乘》一文中说到，在洹上村期间“日随先公营田园，起亭榭，疏池沼，植卉木，饮酒赋诗，极天伦之乐事”［32］。
1913年，袁世凯以“中华民国大总统”之身份，入住中南海，妻妾子女也一同迁入，深深地闭锁在中南海内。1915年底，袁世凯宣布成立“中华帝国”，实行帝制，并准备于1916年元旦登基，定年号为“洪宪”。袁世凯制定了宫廷礼仪，还有龙袍、凤袍、皇子服、皇女服、宫廷女宫服等各式吉服全部制成。袁世凯的正妻于氏当上了“皇后”，如夫人们，经“洪宪皇帝”册封，大、二、三、五，四位如夫人都为“妃”；六、八、九，三位如夫人都为“嫔”（四夫人、七夫人这时已故去）。显然，“妃”和“嫔”是两个等级，这让被称为“嫔”的三位如夫人大吵大闹，而此时的袁世凯已经疲惫不堪，长叹了一口气，说：“你们别闹啦！你们都要回彰德，等着送我的灵柩一块儿回去吧。”说完，就走回办公室去了，接着，没过几天，袁世凯便下令缓行帝制，撤销了大典筹备处。袁家的上上下下都好像做了一场梦。
自1916年春节起，袁世凯身体日趋不佳，内外交困，身心交瘁。在他最后的日子里，仍然多由他最喜欢的大夫人和五夫人服侍。这一年6月6日，死于尿毒症。袁世凯留下两句遗言：为日本去一大敌，看中国再造共和。
扶柩回籍，葬吾洹上。袁世凯死后，分家，袁家家眷移居到天津大营门袁家大院，和平共处，互不矛盾，每一位如夫人分得一栋楼，各立门户，各奔前程。从袁世凯去世到抗战之前，几位如夫人都搬迁到袁家大院，这是一个很大的建筑群，里面有德式居住楼房、戏楼和档案馆，“文革”期间及以后，陆续被拆毁。如今大营门一带，酒店高楼耸立，也还有一些单元楼散落其中。
