1922年注定要成为刘天华音乐生涯一个里程碑式的年份。北京大学“音乐研究会”的琵琶导师王露因病去世，故琵琶技法无人传授。于是曾受教于刘天华的几位学生打算向校方推荐刘天华来京任教。北大教务处很快答应了该要求。于是，刘天华终于可以跻身当时国内音乐的主流地域。家乡的父老乡亲更是倍感光彩，奔走相告：“天华能进京深造，犹如‘乔木出幽谷’，其前途将不可限量也！”
的确，北京大学给刘天华提供了一个任其自由发挥的大舞台。在这里，刘天华如同一个贪婪的食客，疯狂地品尝北京城内的各种音乐盛宴。他可以不顾众人鄙夷的眼神，放下北大教师的架子，拜天桥的说唱艺人为师，学习传统乐器技法；亦能不惜冒着入不敷出、倾家荡产的危险，购买高价门票，去聆听奥地利小提琴家克莱斯勒、美籍俄裔小提琴家津巴利斯特、艾尔曼、美尔茨的演奏会，了解西方音乐的最新进展。然而，他做这些的初衷并非邯郸学步，而是要青出于蓝，亦即改进祖国的音乐。一次，刘天华在院子里听完民间艺人们的演奏，其中一位艺人见到桌上放着那把刘半农赠送的小提琴，就好奇地问道：“先生这洋弦子拉起来一定很好听吧？”刘天华微笑着说：“这可不叫洋弦子，叫小提琴。”那位艺人又说：“先生，您就给咱们拉一曲听听吧。”刘天华欣然接受，拿起小提琴拉了一曲。艺人又问道：“先生，您干嘛要拉这洋玩意儿？”刘天华不假思索地回答道：“为了好改进咱们的国乐嘛！”
为此理想，刘天华于1927年初夏组建“国乐改进社”。他在《国乐改进社缘起》里写道：“我国近来最没长进的学问要算音乐了，虽然现在也有人在那里学着西人弹琴唱歌，大都还只是贵族式的（可还是少数人弄的玩意儿），要说把音乐普及到一般民众，这真是一件万分渺远的事。而且一国的文化，也断然不是抄袭些别人的皮毛就可以算数的，反过来说，也不是死守老法，固执己见，就可以算数的，必须一方面采取本国固有的精粹，一方面容纳外来的潮流，从东西的调和与合作之中，打出一条新路来，然后才能说得到进步两个字。”
他如是说，更是如是做的。1930年，京剧艺术大师梅兰芳先生应邀赴美演出，为了使外国听众对中国这种陌生的京剧有谱可循，加深理解，以便更好地向世界宣传我国民族文化中的这一瑰宝，行前梅兰芳等人再三思忖，觉得如能把演出的戏曲唱腔谱成世界通行的五线谱就好了。主意既定，大家一致公认此事非通晓中西音乐、学养深厚的刘天华先生不能胜任，于是由当时著名的京剧理论家、编剧家齐如山亲自出马，邀请刘天华跨刀记谱。推广科学的记谱法正是刘音乐事业的题中应有之义，因此他爽快地答应下来。
听写记谱的工作是异常艰巨繁琐的。当时由梅的琴师徐兰沅和笛师马宝明二人提供梅的所演各戏唱腔谱出的工尺谱初稿，刘据此再译成五线谱的初稿。那时录音机尚未问世，只好一遍又一遍地听徐拉京胡、马吹笛子，刘天华按谱反复细心揣摩，发觉工尺谱中有许多差错和遗漏的地方，于是一点点加以修改补充。修改完毕，再请梅兰芳清唱几遍，根据唱腔逐一推敲修改。以上工作结束后，刘天华按谱拉小提琴给梅兰芳和徐、马、齐几位先生细听，再征求大家意见，反复修改，最后才算定稿，并命名为《梅兰芳歌曲谱》。此项工作前前后后竟耗去刘三个多月的宝贵时间，也累得他憔悴不少。梅兰芳在《曲谱》序言里曾颇带感谢地追忆道：“天华先生为谱歌曲十余出，因得旦夕承教。先生秉德温懿，于音律析究，尤能入微。每自按梵乌林（小提琴），以代胡琴。试辨工尺，常至夜分。反复推求，不厌其屑，凡百余日，始得竣事。”
