1981年，何振梁当选为国际奥委会委员。
在国际奥委会，何振梁有“圣人振梁”的雅号。因为他举止高雅，风度翩翩，为人正派，处事公正，而且在发言时，常常引用中国富有哲理的典故或诗句，为许多同行所喜欢。
按照国际奥委会的章程规定：当执委有空缺时，任职几年的委员才有资格竞选执委，当副主席一职空缺时，一般是从担任几年的执委中选出，新当选的副主席只能担任第四副主席，直到三年后才升至第一副主席。
可是何振梁从1981年当选委员起至1989年当选为副主席，8年内顺利地通过“三级跳”，并每次都以全票当选，这在国际奥委会的历史上是独一无二的。“何氏三级跳”的传奇故事至今还为人们津津乐道。
何振梁极富个人魅力。当年我国举办第11届亚运会，不但请来了国际奥委会主席萨马兰奇，还请来六十多位国际奥委会委员，这在一个洲的运动会历史上是前所未有的。
虽然他在国际奥委会的工作是义务的，但他却非常认真努力，因而获得了国际奥林匹克奖章，西班牙国王也授予他“十字勋章”。他被誉为世界上最有影响的十大体育领导人之一。
二、两次申奥 何振梁掌舵
2001年7月13日晚，莫斯科世界贸易中心，当国际奥委会主席萨马兰奇宣布北京获得2008年奥运会举办权后，一楼新闻中心大屏幕上久久定格在一个动人的场面上：何振梁眼含热泪，与排着队上前祝贺的国际奥委会委员逐个握手、拥抱，当中国台北委员吴经国含着泪水走过来与何振梁拥抱，并说“中国人最高兴的事情终于发生了”时，何振梁的泪水再也止不住了。72岁的何振梁想的便是：“北京拿到了奥运会举办权，我这辈子就没有遗憾了。”
何振梁在中国两次参加申办奥运会中，两次担任陈述人。他在莫斯科的陈述中，以自己毕生对奥林匹克理想的追求和中国人民对奥运会的期盼而深深地打动了委员。美国女委员、国际奥委会副主席德弗朗茨在投票结束后说：“很多委员都被何先生的真诚所感动。”
1993年那次申办时，何振梁也流过泪；但遭受心灵创伤的何振梁没有在公众场合流泪，没有在外国人面前流泪。所有人都记得当年那个令人酸楚的场面：当萨马兰奇宣布2000年奥运会举办城市是悉尼而不是北京时，何振梁抑制住内心的沉痛，微笑着转守身去，第一个走上前与澳大利亚委员高斯帕握手祝贺。
何振梁的心里在流血，但他没有流泪。当晚，何振梁和夫人梁丽娟从会场返回饭店后，许多朋友打来电话向他们表示慰问。何振梁总是压抑着伤感镇静地交谈。夜深了，又一次响起电话铃声，是他在北京的女儿打来的：“爸爸，我看了电视，您别太难过了，要保重身体，我爱你们。”这时，何振梁的泪水夺眶而出……
北京第二次申办奥运会，何振梁是无可替代的人物。他在国际奥委会的地位、威望和影响，他的经验和语言能力对北京申奥极其关键。北京市领导贾庆林、刘淇非常尊敬他，聘请他担任北京奥申委顾问，并多次对他说：“要帮我们出主意啊。”何振梁说：“申办奥运是我能为国家做的最后一件事了，我一定会尽全力的。”他称自己是“北京奥申委最年长的志愿者”。
往事如烟。1997年，萨马兰奇应邀前来观摩在上海举行的第八届全运会。席间他与何振梁“咬”起了耳朵。萨翁说，在他任国际奥委会主席的近二十年间，有两件憾事使他一直耿耿于怀：第一件是奥委会没有将现代奥运会诞生100周年之际的1996年奥运会交给奥运发源地希腊雅典举办，第二件便是没有将世纪之交的2000年奥运会交给北京举办。萨翁还表示，他希望能在自己2001年任满退休之前，亲口宣布北京为2008年奥运会举办城市。
萨翁的表态为中国再次申办奥运增强了信心。1998年11月，中国政府正式宣布，北京将再次申办奥运会。
说起北京申奥初期阶段的情况，何振梁似乎还有些后怕，他形容那时的情况是“如履薄冰”。2008年奥运会最初有10个城市申办，为了从中选出5个候选城市，国际奥委会要求10个城市分别在22个问题上作出回答。这22个问题都是有关申办城市的基础设施和体育硬件建设的，结果北京在“关于奥运村的设想”这一项上获得最高分，在“旅馆的条件”这一项中与巴黎并列第一。而巴黎在5个项目上获得了最高分，多伦多则在4个项目上名列第一，大阪虽然没有一项获得最高分，但几乎所有的项目都在第二、三位上。结果北京的分数排在这三个城市之后，仅名列第四。
