当雅各布把阿玛莉带回弗赖贝格时，他和萨莉生的长子伊曼纽尔已经结婚。萨莉的另一个儿子菲利普当时19岁，同弗洛伊德一家住在一起，他先是做了西格蒙德的哥哥，后来又是阿玛莉的第二个儿子尤里乌斯的哥哥，但尤里乌斯不幸在六个月时夭折，最后他成了安娜的哥哥，安娜是尤里乌斯死后八个月出生的。西格蒙德在3岁前怎么也搞不清自己与菲利普的关系，因为他几乎和阿玛莉一样大。有时候他以为菲利普是自己的父亲，雅各布是自己的爷爷。更使他糊涂的是他与约翰以及保莉妮的关系；约翰是伊曼纽尔的儿子，比他大整整一岁；保莉妮是伊曼纽尔的女儿，和他同年。这些问题后来都消失了，因为阿玛莉和雅各布带着西格蒙德和安娜搬到了莱比锡。在那里过了一年不太顺利的日子后，他们一家又移居到了维也纳。伊曼纽尔带着家眷和弟弟菲利普搬到了曼彻斯特，在那里干起了纺织业。西格蒙德直到19岁时才又在英国见到了自己同父异母的两个哥哥和侄儿侄女，当时他顺利通过了毕业考试并被维也纳大学录取了。雅各布曾答应送儿子去英国过暑假，当时手头正好又较宽裕，就让儿子如愿以偿了。
雅各布第二次结婚后，运气越来越坏。以维也纳为起点新建的北方铁路竟然不通到弗赖贝格；通货膨胀和19世纪50年代的萧条也使他和其他许多未加提防的人遭了殃。他无法偿付签订的大量合同所造成的债务。他丢掉了自己的买卖，带着4岁的儿子和1岁半的女儿来到了维也纳。在这里，他遇到的是资历雄厚、地位牢固的商行，而缺少资金的他根本没办法与之竞争。西格蒙德上初级人文中学时，雅各布·弗洛伊德在他的登记表的“父亲职业”一栏里填的是“羊毛商”，但不幸的是，雅各布事实上再也没有当过羊毛商人。他再也没有领过营业执照，也没再纳过税，而是在羊毛和纺织行业里当雇员，干过许多不同的工作。当雅各布找到一个好工作时，他为安娜买了一架钢琴，为饭厅的餐桌添置了一盏可以用链条调节高低的汽油灯，还给全家人买了新衣服，照了相，多给了些钱让西格蒙德在多伊迪克书店买书。工作收入少得可怜或是雅各布被辞退的情况正变得越来越频繁，每当这种情况发生时，弗洛伊德一家就没钱开支了，阿玛莉常常会发愁地说：
“没什么可花的了。”
然而直到最近，雅各布·弗洛伊德一家还是想方设法保住了中等生活水平，教师、政府官员、音乐家等都属于这个社会阶层。他们的月收入从300~500盾不等，相当于120~200美元。这是中等收入——不多但是够用。
这里面有一个原因只有西格蒙德一个人知道，那是他在伊曼纽尔和菲利普那里度夏时了解到的。他们在曼彻斯特已经靠做羊毛生意发达起来了。在伊曼纽尔家里，他听到过两个哥哥谈论萨莉，说她是一个精明的商人。虽说在弗洛伊德家境况太糟时，他们有时不得不寄钱接济，但他们没有讲阿玛莉一句坏话。唯一还存在的问题不过是，要是萨莉还活着，她是不会允许雅各布一下子签那么多合同的。
“不过话又说回来，”西格蒙德微笑地看着父亲暗自想道，“要是萨莉1855年的时候还在世，父亲就不会和母亲结婚。我，如今的西格蒙德·弗洛伊德博士，也就不可能在这个温暖的六月夜晚站在约瑟夫大帝街的家中，等待我心爱的姑娘了。”
