薇薇安的弟弟戈登认为，搬到南边对家族来说是一个戏剧性的转折点，但这个决定在当时并没有得到很多人支持。整个家族还从未有人离开过丁特韦斯特尔—何林渥尔斯区域，很多人直到现在仍然住在那儿。他们的搬家让许多亲戚都持迟疑态度，奥尔加、戈登和薇薇安三个孩子也不情愿离开现在的学校和熟悉的小伙伴。但是大萧条仍然影响着斯怀尔家庭，在20世纪50年代，英国还饱受着战后经济衰退的折磨。多拉和戈登觉得相对发达的南部会更有发展前景。“那时候的人们不会那么轻易地搬到伦敦去，”薇薇安的弟弟回忆说，“大家讨论的是搬到澳大利亚、美国或其他地方，寻求更好的生活，而不是去伦敦。爸爸妈妈并没有什么伟大的计划，但是我觉得他们对孩子、对自己都很有雄心，所以看到有机会，他们就紧紧抓住了。”两人对孩子解释的时候也毫无掩饰：“爸爸的事业受到大萧条的影响，他觉得如果我们将来能为政府工作，就可以拿工资，经营邮局兼杂货铺的话就意味着，顾客在前往邮局的途中必须从杂货铺经过，顺路就会买些东西。爸爸妈妈找到了方法，从一个邮局搬到了另外一个邮局，并最终把我们搬到了伦敦。”
薇薇安的成年生活都是在伦敦度过的。因为她名气很大，打扮又引人注目，很多伦敦人都有过偶遇她的经历，而大部分的故事都是有关差点撞倒正在骑自行车的她。不过在最开始的时候，薇薇安发现伦敦让人产生幽闭恐惧，年轻人都喜欢搞小团体，这让她十分憎恶。斯怀尔一家其实并不是住在伦敦，而是在哈罗山（Harrow-on-the-Hill）附近树木繁茂的郊区，几乎就在山脚下，因为服务业较发达而变成了伦敦的郊区面貌。多拉被要求经营的邮局位于哈罗车站路31号，全家人坐火车来到了这里。31号是当地的杂货店兼邮局，店铺楼上是一个面积很大的三卧公寓，这就意味着薇薇安需要和12岁的妹妹奥尔加合住一个房间。薇薇安当时快17岁了，已经在格洛索普语法学校完成了学业。毕业后，她根据贝尔先生的建议申请了哈罗艺术学校，最后选择了珠宝和银器制造专业。这至今仍是她在设计方面接受过的唯一正式培训。
薇薇安并没有很快适应伦敦郊区的生活，一个原因是青少年对于新环境需要尴尬的适应期，另一个是因为她之前在曼彻斯特已经开始同一个男孩约会，每到周末就需要用这段“恋情”（虽然那根本不能用这个词语来形容）作借口，不停地重返旧地。
事实就是，当时有这么一个男孩，我喜欢他，也喜欢曼彻斯特。这段恋爱其实算不上非常认真，毕竟只认识了几个月时间，还没有到非他不可的程度。他是个很可爱、贴心的小伙子。所以，哪怕说一句“我并不是那么非他不可”的话，似乎都有点像是对他的背叛。他真是非常可爱，很帅气，看起来总是那么友善。我希望他不会介意我说出他的名字——吉米·格兰特（Jimmy Grant），警校学生，住在曼彻斯特那一头比较偏远的查德顿（Chadderton）。当时我周六在曼彻斯特沃尔沃思（Woolworths，零售公司名）做兼职，经常会有路过的年轻人试图搭讪我和朋友，问我们今晚上想不想去跳舞，谁的学校里有舞会，我们就会一同前去，就在那里我认识了吉米·格兰特和他的朋友。他们并没有直接挑明，说自己其实是警察。
