黄拜的第二个老师是刘师培。这已是黄侃进入北大时的事了。一天黄造访刘，见刘正与一学生谈话，刘对学生提出的问题敷衍搪塞，随意对付。学生离开后，黄便问刘为何不认真解答学生提问。刘说：“此子不可教也。”说完，刘大发感慨，说他感到对不起列祖列宗，他家“四世传经，不意及身而斩”，语多伤感。黄便问：“那您想要收什么样的学生呢？”刘拍着黄的肩膀说：“像你这样足矣！”黄侃听了，第二天便对刘行磕头拜师之礼，正式拜刘为师。此为北大当时一大新闻，因为其时黄侃仅比刘师培小1岁零3个月，又皆为北大教授，在学术界名气也不相上下，何况黄侃平时是极其狂傲之人，怎么会一下子谦卑地拜刘为师呢？其实，这正是黄对做学问执着的一种表现。后来，因为黄侃拜刘师培为师是磕了头的，认为普天之下拜师必磕头，不磕头，得不了真本领，所以就要求拜他为师的人也都要磕头。比如1932年春黄侃收杨伯峻为弟子时，就是磕了头的。待杨磕完头，黄侃便说：“从这时起，你是我的门生了。”他解释为什么要弟子磕头的原因时说：“我和刘申叔，本在师友之间，若和太炎一起，三人无所不谈。但一谈到经学，有我在，申叔便不开口。他和太炎师能谈经学，为什么不愿和我谈呢？我猜想到了，他要我拜他为师，才能传授经学给我。因此，在一次申叔和我的时候，我便拿了拜师贽敬，向他磕头拜师。这样一来，他便把他的经学一一传授给我。太炎师的小学胜过我，至于经学，我未必不如太炎师，或者还青出于蓝。我的学问是磕头来的，所以我收弟子，一定要他们一一行拜师礼节。”
由于得章、刘两位国学大师指导，黄侃在音韵学、文字学、训诂学上都有很深的造诣，做出了重大贡献，尤其在传统“小学”的音韵、文字、训诂方面更有卓越成就，如提出古声十九纽说，提出古音韵二十八部说，提出古音只有平入二声说，提出互训（直训）、义界（界说）、推音的概念等。他吸收前人研究成果，融会贯通，建立了自己的古声韵系统，即古音学体系。他在古音学上所取得的成就继承了自顾炎武以来的古音研究工作，使他成为清代古音学的殿后大师。作为其语言文字学着作的一部分，他还自创了几十种表谱对古代汉语进行分析。他的《文心雕龙札记》对中国古代文学理论的研究有过很大的影响。人们把他与章太炎、刘师培并称为“国学大师”，称他与章太炎同为“乾嘉以来小学的集大成者”、“集古韵之大成者”、“传统语言文字的承前启后人”等。黄侃在经学上成就也很大。他的《汉唐玄学论》、《礼学略说》、《讲尚书通例》等着作对哲学、经学的研究也有许多创见，其《手批白文十三经》，自问世以来，已成为研究古文典籍的重要参考着作。在这方面，黄也颇为自负，他后来带出的弟子如杨伯峻、陆宗达等，均为大家。
黄侃因为学问大，加上性激口直，不容于物，表现出来便是脾气暴躁，狂狷不羁，甚至玩世不恭。据周作人回忆，大概是1908年前后在东京民报社，陈独秀找章太炎聊天，聊着聊着不知怎么说到湖北没有出什么大学者，章太炎也敷衍说是啊是啊。这时正在隔壁看书的湖北佬黄侃听见后不干了，大声说道“湖北固然没有学者，这不就是区区在下，安徽固然多有学者，然而也未必就是足下”，弄得客人索然扫兴而去。10年以后，黄侃、陈独秀先后均到了北大，陈独秀任文科学长，主持新文化运动，黄侃乃旧派中坚，尤其反对新派不要古文古书，并常在讲堂上攻击新派，但似乎陈、黄之间并无正面交锋。有好事者作诗咏校内名人，写陈独秀的一句是“毁孔子庙罢其祀”，写黄侃的一句是“八部书外皆狗屁”，很得陈、黄二人当时主张的要领和精神。“八部书外皆狗屁”是黄的名言，意即平生信奉8部经典，即《毛诗》、《左传》、《周礼》、《说文解字》、《广韵》、《史记》、《汉书》、《文选》，其余均可不论，更不用说白话文了。
“五四”前后，黄侃因对新文化运动很不以为然，尤其对于写白话文、作白话诗而享有大名的胡适看不顺眼，便常常与他作对。一次他对胡适说：“胡先生你口口声声说要推广白话文，我看你未必出于真心。”胡适听了不解，问道：“黄先生此话怎讲？”黄说：“如果胡先生你身体力行的话，大名就不应叫‘胡适’，而应改为‘往哪里去’才对呀！”胡适听了一时竟无言以对。
