1904年，比利时和法国在布鲁塞尔踢了一场球。借这个机会，由28岁的法国记者古兰安排，法国体育俱乐部协会举行了一个会议，讨论构想中的国际足联的章程和组织结构。与会者还包括来自瑞士、比利时、荷兰、瑞典、西班牙和丹麦的代表，国际足联就这样成立了，其实七个成员国全是欧洲的。第一次大会是1904年5月23举行的，古兰成为第一任主席。英足总勉强地表示祝贺，然后在1905年4月加入。当时英格兰足球的实力和影响力遥遥领先其他国家，1906年，来自英足总的伍德福尔成为国际足联主席，他颇有建树，最主要贡献是统一比赛规则和吸引更多国家加入。
国际足联刚成立的时候，就有了单独举办世界大赛的模糊想法，参赛是各个国家队，后来暂时搁置了，选择为奥运会组织由业余球员参加的比赛。1908年和1912年奥运会的足球比赛，都是由英足总组织的，冠军也都是英国代表队。
第一次世界大战在1914年爆发，对足球的影响非常大。首届世界杯的诞生因此推迟了，国际足联早就有举办大赛的计划，但打仗了没法踢球，只能放弃，战争期间很少举行国际比赛。跟奥地利名帅梅瑟尔一样，雷米特上过战场，蹲过战壕，还获得一枚十字勋章。1914年的圣诞节，在西线战场，英军和德军士兵踢了球赛。战争经历让雷米特坚定了信念：用足球将不同国家和不同民族团结起来。
战争结束后，雷米特从1919年开始担任法国足协的第一任主席，在位长达30年。法国足协的成立，大大促进了足球在法国的传播。一战结束那年，国际足联主席伍德福尔去世，国际足联一度濒临解散，几乎靠伊尔什曼一个人支撑着。英足总对一战耿耿于怀，不愿跟交战国球队踢比赛，还嫌外国球队水平低，于是开始抵制国际足联，直到二战结束后他们才恢复跟国际足联的关系。
危难之际，雷米特挺身而出，他在1921年就任国际足联主席。上台后，他继续为奥运会组织足球比赛，1924年巴黎奥运会的足球决赛吸引了6万名现场观众；另一个任务是邀请更多国家加入国际足联，他上任时只有12个会员国；此外，雷米特一直没忘记单独举办世界级足球比赛的构想，奥运会足球比赛的成功给了他和同道很大信心，但顾拜旦和英足总都强烈反对。
雷米特坚持自己的想法。他的孙子说：“我爷爷是绅士，但性格坚强。他是个律师，跟他争论太难了，因为他从不放弃。他跟那些英国足球官员私下里相处得不错，但却无法和他们在同一个组织里共事。从另一面来看，英国人跟法国人打交道就是这样，不是吗？”雷米特不是一个人在战斗，他得到了国际足联委员（1924—1928年）、法国足协秘书长德劳内的有力支持，两人一起构思了世界杯。
最佳拍档催发世界杯问世
德劳内比雷米特小10岁，踢过球，当过裁判，按照记载，他踢球没怎么受伤，执法比赛倒出了大麻烦——被球闷在脸上，掉了两颗牙，还不小心把哨子吞了下去。之后他就不当裁判了，开始在法国足协工作，从1919年起，担任法国足协的秘书长，一直到1956年去世。
