虽然迈克尔·布林攻读的是自然科学博士学位，但反犹太主义阻碍了他事业的发展：在莫斯科大学，他未获准学习自己更喜欢的天体物理学课程，因为这一课程与核研究同属一个系，犹太人被认为靠不住，不能涉足这一领域。反倒是他的妻子尤金尼亚·布林，一位土木工程师，在全苏石油天然气研究院的知名研究室里更受欢迎，但她也同样感到捉襟见肘。“我们太穷了，”谢尔盖·布林如此描述和他的父母以及曾祖母――一位英语教师――一起生活在莫斯科那套三四百平方英尺的公寓时的境况，“我的双亲度过了一段艰难时光。相比较而言，我的生活一直轻松安逸。”
1977年，迈克尔·布林在欧洲参加了一次国际会议，回家之后，他就坚持全家人必须申请签证逃离苏联。可是，在第二年递交了申请后，他突然就被解雇了。由于受到报复的警告，尤金尼亚也辞了职。他们靠做一些临时工作来维持生计，并让四岁大的谢尔盖·布林在家中接受教育。直到两年之后，他们的出境签证才获批准。在希伯来移民援助协会的帮助下，他们放弃了自己大部分的财产，移民到了美国。
在巴尔的摩市郊一个多种族的工薪阶层居住的地方，他们租了一套煤渣砖建成的房子，这里靠近马里兰大学。和在莫斯科的时候一样，他们非常贫穷，靠当地俄罗斯犹太人的接济维持生活。“我的父母可以说是住在餐厅里，”谢尔盖·布林回忆道，“餐厅和厨房之间连墙都没有，他们就把那儿当成卧室。”终于，迈克尔·布林当上了马里兰大学的数学教授，专门研究黎曼几何学；尤金尼亚·布林成为美国国家航空航天局戈达德空间飞行中心（NASA’sGoddardSpaceFlightCenter）的科学家。他们有了第二个儿子萨姆·布林，比谢尔盖?布林小14岁。
谢尔盖·布林进入当地的蒙台梭利学校学习，这里的班级由三个年龄段的学生组成。这是典型的蒙台梭利教育计划，是让学校适应孩子的需要。“没有人来告诉你要做什么，”布林说，“你必须寻找自己的路。”由于最初只会说很基本的英语，他就躲进数学难题、科学计划和地图里。在谢尔盖19岁生日时，他的父母送给他一台Commodore64型电脑作为生日礼物，这件礼物对一个男人以后的发展产生了重大影响，时至今日，他还乐不可支地把自己形容为电脑迷。数年之后，一位朋友搞到一台早期的麦金托什（Macintosh）计算机，他们开始设计人工智能程序和软件来模拟地球引力。