邓布利多在那时组织了象征光明和抗争的凤凰社，这个组织由坚决对抗伏地魔、食死徒的巫师们组成，目标是阻止伏地魔可怕的野心变成现实。他们人员可观但依然没有和食死徒队伍达到势均力敌的程度。敌人杀害了大量的凤凰社成员，并且把抓来的凤凰社成员编制到自己一方。这时，伏地魔看上去“比任何在世的巫师都强大”，他少年时的一部分梦想已经变成现实，巫师界的大多数人都避免提及他的名字，食死徒们称他“主人”、“黑魔王”，普通人提到他的时候，则只称“神秘人”或是“那个连名字也不能提的人”。
1979年，伏地魔的野心极度膨胀，他离自己心中“建立纯净的巫师世界”的目标越来越近。此时他的力量处于巅峰，好像除了邓布利多及凤凰社，已经没有什么能够阻止他走向成功。这时一个预言传到了他的耳中，他只知道这个预言的一些部分：那个将要杀他的人会在7月底出生，这孩子的父母曾三次从伏地魔的手里死里逃生。
从这断章取义的预言中，伏地魔感觉到必须趁那个预言中的孩子羽翼未丰之际找到他并杀死他。但其实，完整的预言是这样说的：“拥有征服黑魔头能量的人走近了……出生在一个曾三次击败黑魔头的家庭……生于第七个月月末……黑魔头标记他为劲敌，但是他拥有黑魔头所不了解的能量……一个必须死在另一个手上，因为两个人不能都活着，只有一个生存下来……那个拥有征服黑魔头能量的人将于第七个月结束时出生……”
他只听了半段预言，极度自负地为自己的未来做出了完全错误的判断。
1980年，在两个同在7月底出生、同样符合预言条件的孩子中他选择了和自己一样并非纯血巫师的哈利·波特作为对手。从那以后开始疯狂地搜寻这个男孩并发誓除掉他，但是波特夫妇及他们的孩子被邓布利多很好地隐藏起来，所以伏地魔和他的党羽们一直没能找到他们。
1981年，由于叛徒虫尾巴的出卖，波特一家完全暴露在伏地魔面前。10月31日，伏地魔来到波特位于高锥克山谷的藏身之地，他先是毫不犹豫地杀了挡在自己面前的詹姆，然后来到莉莉面前。当时他的目标是哈利，由于斯内普的请求，他最开始并没有杀死莉莉的打算，但莉莉挡在哈利与伏地魔中间使他无法下手。最后，失去耐心的伏地魔发射出致命的咒语。一瞬间，绝顶聪明的莉莉以生命为代价，用古老的咒语给了哈利最后的保护。伏地魔，这个一百年来最强大的巫师并没有看出这样的保护，杀死莉莉之后他将魔掌伸向只有一岁的小对手，但那个曾让很多强大巫师毙命的咒语却被反弹到伏地魔身上，刹那间他的身体撕裂了，魔力消失了，生命奄奄一息的他逃之夭夭，不知所踪。
这天晚上自负的他彻底犯了两个致命错误：忽视了莉莉·波特母爱的伟大力量，同时触犯了自己忠实的仆人—西弗勒斯·斯内普的尊严。于是他最后的失败在那一晚被“泥巴种”莉莉的死亡钉在命运之轮上。
他能够征服死亡，所以并没有被反弹的咒语直接杀死，但他因此而失去了自己的肉身，更失去了力量—因为能够帮助他的每个咒语都需要使用魔杖。没有办法，他只能隐藏在阿尔巴尼亚森林里，那里远离人类和傲罗的追击。他使用仅存的力量把自己附身到其他东西上面，斯莱特林的图腾蛇是他最喜欢用的动物。他等待着，不眠不休，一分一秒地强迫自己活下去，期待某个忠实的食死徒能试着找到他并施展魔法给他再造一个肉身。
但在他失势之后，面对魔法部的反扑，那些被他称为家人的食死徒们有的被抓进阿兹卡班，有的抱头鼠窜，很多人为了自保否认与他有染。再没有人试图寻找他的踪影，更别提帮他重新找回力量了。
1981至1991年这十年间，除了一片痛苦而脆弱的灵魂，伏地魔什么也没有了，他在阿尔巴尼亚森林里一躲就是十年，靠附身于其他动物的躯体里维持生命。
1991年，在霍格沃茨担任黑魔法防御术课教授的奇洛进入了伏地魔藏身十年的森林，他是个年轻愚蠢且容易上当的人。伏地魔很轻易就搞定了他，进入他的身体，并让他把自己带回英国、带回霍格沃茨，实施他东山再起的大计划。他希望通过仅存于世的一块魔法石为自己制造一个人身并且得到永生。
他的计划不知为什么被邓布利多察觉了，并先他一步下手保护起魔法石。
7月31日，奇洛在伏地魔的指导下与对角巷的妖精守卫打斗并试图闯入古灵阁，发现之前放置魔法石的713号保险库里面空空如也。魔法石让曾被伏地魔陷害的鲁伯·海格于当天早些时候提走带回霍格沃茨。魔法石在霍格沃茨受到各种强大魔法的妥善保护。
伏地魔不得不以身—或者说以他脆弱的灵魂和奇洛无能的身体冒险进入霍格沃茨寻找魔法石。他有时潜伏在禁林中，有时把自己隐藏在奇洛的头巾下，耐心寻找着机会。为了获得生命的力量他经常袭击禁林中的独角兽并喝下它们的血，这样做虽然提升了他的力量，却进一步把自己的灵魂推向万劫不复之境。一天晚上他在禁林遇到了夙敌哈利·波特，而当他试图袭击哈利的时候，马人费伦泽赶到救了哈利。
奇洛和伏地魔耍花招从海格那里骗取了通过看守魔法石的三头狗的方法，并且通过了重重魔法机关。但在厄里斯魔镜前他们变得束手无策。随后追击而至的哈利从魔镜中得到了魔法石，为了抢夺魔法石，奇洛向哈利发起袭击。了解到事实真相的哈利终于不得不和可怕的伏地魔正式面对面了，虽然这时候他还没有什么力量，可由于十年前莉莉用生命为代价施加在他身上的那个咒语保护，奇洛非但没有成功抢到魔法石，更因带着伏地魔的灵魂恶意地碰触到哈利而最终化为一地的灰土。
在这次交锋中，伏地魔非但没有得到魔法石，还失去了自己寄生的身体。他只好又一次狼狈逃跑，回到阿尔巴尼亚森林中继续苟延残喘。
这次逃跑后，他开始度过他最黑暗最无望的一段时期。他又和以前一样虚弱，也无法希望再有一个愚蠢的巫师送上门来，同时，他也不再幻想会有哪个食死徒关心他的状况。尽管无望，他仍然等待着机会。
这一年，已经抛弃了伏地魔的食死徒卢修斯·马尔福出于自己报复的目的，愚蠢地把伏地魔十六岁时宝贵的日记本塞到金妮·韦斯莱的手里。
纯真的金妮向那个日记本展露自己的心事，通过诉说与汤姆·里德尔对话，多年前被植入日记本的汤姆·里德尔的灵魂以她内心最深处的恐惧为粮食变得越来越强壮，很快他就变得比金妮更加有力量并且可以开始利用她了。在金妮不知情的情况下，控制着她又一次打开那个古老的密室。霍格沃茨再次发生学生被怪物袭击的恶性事件。
伏地魔是汤姆的“过去、未来和现在”。为了战胜哈利，最终实现自己的野心，十六岁的汤姆一步步把哈利引诱到密室，由于吸收了金妮的生命，那时他已经强大得可以脱离日记本了，他和伏地魔的灵魂有着某种神奇的联系，和伏地魔一样想知道当时还是婴儿的哈利是怎么在和最伟大的黑魔王的交锋中取得了胜利。在一段还算坦诚的对话后，哈利了解到十六岁时伏地魔的内心世界，而汤姆也承认莉莉的牺牲行为产生了一种有力的保护咒，但却轻蔑地把这归结为“完全是侥幸”。自负到极点的他操纵着密室里的蛇怪，要以自己十六岁时的力量与哈利一决高下。但在凤凰福克斯、分院帽里格兰芬多宝剑的帮助下，哈利杀死了密室中的蛇怪，并在直觉的指引下用蛇怪那颗断了的剧毒牙齿扎进日记本。随着日记本上破洞的扩大，十六岁时汤姆·里德尔的傲慢灵魂功亏一篑，他尖叫着、挣扎着化为虚无。在阿尔巴尼亚森林的伏地魔全然不知，他在这个世界上分裂出的第一片灵魂、他引以为傲的十六岁记忆就这样被自己的敌人消灭了。
哈利四年级的时候，由于小天狼星·布莱克的追击，暴露了藏身之处的凤凰社叛徒虫尾巴为自保不得不回到伏地魔身边，为他寻找力量和复活的机会。他们在一间酒馆撞见了来自魔法部的女巫伯莎·乔金斯。伏地魔从乔金斯那里得到一个意外之喜：停赛多年的三强争霸杯这年将要在霍格沃茨举行，而他一个忠实的仆人—小巴蒂·克劳奇已经被他的父亲从阿兹卡班救出，他从来没有背叛过伏地魔，只是被他父亲用一个夺魂咒控制住失去了行动自由。
尽管虫尾巴是一个蹩脚的巫师，却能够执行伏地魔的指示，他协助伏地魔得到了一种用独角兽血和毒蛇毒液调制的药水，伏地魔借此初步形成一块软弱的肉身。尽管看上去丑陋可怖，用这个肉体他已经能有力气离开阿尔巴尼亚森林去进行他的下一步计划了。他要通过一种古老的黑魔法恢复原来的力量和身体。
