董卓也深知曹操的能力，所以上表献帝，封曹操为骁骑校尉，想与曹操一起商议国家大事。但是，曹操却十分清楚，董卓最终必败。所以他没有接受这个职务，反而是改变姓名，带领少数人马，偷偷走小路再一次东归故乡。
曹操带领着他的随从数人一路来到成皋（今属河南荥阳），想顺道拜访一下老朋友吕伯奢。
本来，朋友互访并没有什么，但是曹操拜访吕伯奢却引来了一个千古话题，给历史、文学、文化，甚至是为人处事带来了深远影响。那么，这到底是怎么回事呢？
因为史书的记载不同，曹操与老朋友的这段交往也有不同的理解。根据《三国志》裴松之注释时所引的《魏书》记载，当曹操来拜访吕伯奢的时候，吕伯奢不在家，他的儿子和宾客见财起意，合伙打劫了曹操，把曹操所带的马匹及财物抢走了，所以曹操就亲手杀死了他们几个人，才摆脱了困境，逃了出来。而裴松之所引的另一部书《世语》的记载则完全不同。《世语》中说：曹操拜访吕伯奢的时候，吕伯奢恰巧不在家，他的5个儿子却都在家，于是他们以宾主之礼热情地招待了曹操。但曹操看到这家人这样热情，反而认为这是圈套，感到自己没有按照董卓的任命赴任，这家人是不是要把自己交到董卓手里邀功？想到这里，曹操便在夜间挥剑杀死了八人，仓皇逃走。裴松之还引了一部叫《杂记》的书，记载得更为详细，说是这家人要招待曹操和他的随从，当他们在准备食物的时候，曹操听到了刀具等器物碰撞的声音，以为是准备对自己下手，于是就在夜间把这家人杀了。但是，随即曹操就后悔了，为他们全家的死感到悲伤，不过，痛定思痛，曹操还是说了一句“千古名言”：“宁教我负天下人，休叫天下人负我！”说完就毅然离开了老朋友吕伯奢的家。
由此可见，曹操杀吕伯奢家人的故事，本来就说法不一，除了第一种说法给曹操找了一个充分的理由之外，后面几部书的记载完全把曹操视为一个残暴自私、无情无义的人。我们且不管这两种对曹操态度截然不同的记载真实与否，光是后来“贬曹派”据此而作出的评价就足以将这件事变成真的，《三国演义》不但把这件事说成真的，而且还演绎出了更多原本没有的故事，如曹操往回赶途中，又遇到了吕伯奢，又用计将吕伯奢杀死。当陈宫责问曹操为何如此时，曹操说：“宁教我负天下人，休教天下人负我。”其实不仅仅是小说家，就连史学家也有不少人赞同这种说法。如清代周寿昌就说：“吕氏子弟宾客如果真的有劫持曹操的心思，那么他们就会有准备，曹操仅凭一个人的力量怎么能够成功？只有在吕伯奢的五个儿子都把曹操当作父亲的朋友盛情款待的时候，曹操先自心生疑虑，才乘其不备把他们全家人杀了。曹操这是灭绝天良啊！”
正是因为有这些说法和认识，曹操在公众的心目中才逐渐由历史英雄变成了所谓的“白脸”、“奸臣”等，这是后话。
当日，曹操从吕伯奢家出来，路经中牟，亭长怀疑曹操是逃亡者，就把他交给了县令，这时县令已经接到了董卓拘捕曹操的命令，不过县里的一位功曹认得曹操，认为现在时局动荡，不应该拘捕天下英雄，所以请求县令把曹操给放了。曹操来到陈留，尽散家财，招集义兵，决心讨伐董卓。
汉灵帝中平六年（公元189年）十二月，曹操35岁，在得到陈留孝廉卫兹以家财资助、招募5000兵士之后，曹操再一次起兵，举起了平定董卓之乱的大旗。
讨伐董卓
汉献帝初平元年（公元190年）正月，袁术、袁绍、韩馥等人同时从各地起兵讨伐董卓，共同推举袁绍为盟主，曹操以奋武将军的身份参与到大军之中。董卓听说之后，将献帝迁移到长安，自己则驻扎在洛阳，焚烧宫室，迎战义军。看到董卓兵力强大，袁绍等人畏缩不前。曹操力主进兵，说：“董卓已是穷途末路，要迅速前进，机不可失。”于是率先率兵西进，欲攻占成皋。陈留太守张邈派大将卫兹领兵协助曹操，遭遇董卓大将徐荣，卫兹战死，曹操中箭，所乘马匹也伤势严重，从弟曹洪将自己的马给曹操，曹洪说：“天下可以没有曹洪，但是不可以没有你。”于是便步行到汴水，曹操才得以连夜逃走。关于曹洪让马给曹操一事，还有一个美丽的传说，说是曹洪产业巨大，骏马成群。曹洪让给曹操的马号为白鹄，这匹马奔跑时只会听到耳边风声，足不沾地。跑到汴水之后，曹洪无法渡河，曹操就将曹洪拉到马上，兄弟二人一同乘马奔驰，马匹行走如飞，数百里地瞬间而至，而马匹却足毛不湿。所以当时人称他们是乘风而行，此马也被称为是一代神骏。甚至有谚语说：“凭空虚跃，曹家白鹄。”
曹操狼狈逃到了酸枣，而各路军阀却按兵不动，曹操一面斥其名为义军却不图进取，一面帮助他们出谋划策，但是军阀为保各自实力，不愿进军。无奈之下，曹操与夏侯惇远赴扬州再次招募兵士，得到4000兵力，但不久兵士发动叛乱，曹操只率领千余人进驻到河内。此时，袁绍与韩馥商议立幽州牧刘虞为帝，曹操竭力反对，说：“董卓罪大滔天，我们聚合义军共同讨伐，天下响应，这是因为我们是义军。现在皇帝年幼无助，一旦另立新君，天下哪里还能安定！”袁绍看到曹操不听他的计策，便又派人游说曹操，说：“现在只有袁绍势力强大，再加上他的两个儿子羽翼逐渐丰满，天下英雄，有谁能比？”曹操不予理会，从此越发看不起袁绍，并下决心找机会将其消灭。
七月，曹操因击破黑山义军而被任命为东郡太守，之后到次年春天几个月的时间里，又连续击败多处义军，并在内黄打败了匈奴南单于的儿子，取得节节胜利。
此后，司徒王允和吕布设计杀死了董卓，但董卓部将李傕、郭汜等人又将王允杀死，并进攻吕布，吕布败走，李傕等人执掌朝政。
曹操在这两年讨伐董卓的战斗中，表现非常英勇，决策也非常英明，尽管各路军阀为了各自的利益，没有按照曹操的意见采取主动进攻的战术，但曹操却勇往直前，尽管明知自己实力无法与敌人抗衡，很有可能会全军溃败，甚至危机个人生命安全，但是，看准了目标，就不惜代价，曹操表现出了一个年轻政治家的坚韧和军事家的睿智。也正因如此，在后来的战斗中，曹操才取得了一个又一个胜利，军事实力逐渐扩大，政治地位也不断上升。
兖州牧
兖州自古以来就是一个具有重要战略地位的地方，得到了兖州，就意味着拥有了山东半岛、河北大部等重要地方。初平二年（公元191年），黄巾义军将兖州刺史刘岱杀死。陈宫认为，如果拥有兖州，就可以利用兖州一步步夺取天下，成就霸王之业。于是在陈宫等人的努力下，曹操出任兖州牧，由此迈出了政治上更为有力的一步。
随即，曹操对黄巾军展开围剿，经过几个月的战斗，曹操大获全胜，黄巾军30万人、百姓百余万人投降曹操，曹操重新整编了这支队伍，整编后的部队起名为“青州军”。这支部队为曹操日后的发展，在军事上奠定了重要的基础。曹操就是利用这支军队纵横驰骋，败公孙瓒、破袁术、征陶谦、击吕布，所向无敌。
兴平元年（公元194年）春天，曹操为报杀父之仇，进攻徐州的陶谦。曹操的父亲曹嵩，董卓之乱时避难在泰山华县，曹操让泰山太守应劭护送父亲到兖州，陶谦则先于应劭秘密派遣数千骑兵到曹家，曹嵩以为是应劭所派军队，没有一点防备。陶谦大军先把曹操的弟弟曹德杀死，曹嵩害怕，从后墙出逃，他先让小妾翻墙，但小妾身体肥胖，好久才翻过墙去。曹嵩逃跑到厕所藏了起来，但仍然被陶谦军队发现，他与小妾先后被害，全家皆死。
关于曹操父亲被杀，历史上也有不同说法，除了上面所说是陶谦秘密派人把他们杀死之外，还有一种说法，是说曹操去迎接带着辎重百余两的父亲，陶谦派遣都尉张闿带领200骑兵护卫，但张闿在泰山华县、费县之间把曹嵩杀了，夺走了曹嵩所带财物，逃奔到淮南去了。曹操一气之下，归咎于陶谦，所以出兵攻打。这两种说法都有道理，但是，从曹操当时的情况来看，后者似乎更为有据，因为曹操借口攻打陶谦，实际目的是要占领陶谦地盘。不管怎样，曹操为了报杀父之仇，在攻打陶谦的同时，所过之处大肆杀戮，招致了后人更多的谴责。甚至有的历史学者说，正是因为曹操这次太过残暴，才导致了他以后的连续失败。
所谓的连续失败，是指如在濮阳与吕布的一次战斗中，曹操包围了濮阳，濮阳的大姓田氏作为内应，曹操顺利进入城中，田氏又放火烧掉了东门，以示绝无反叛之意。战斗中，曹操军抵敌不过，阵脚大乱，部队溃败。吕布的一位骑兵抓住曹操便问：“曹操在哪里？”曹操随口说道：“前面骑着黄马的便是。”这个骑兵放下曹操急急忙忙追赶去了。曹操来到城门，大伙仍在燃烧，曹操便冒着大火突围，但突然落马，左手掌被烧伤。司马楼异赶快将曹操扶上战马，快速逃去。曹操还未回到大营，便遇到自己的大将们因为未见到曹操而心生恐惧，曹操见状，亲自慰劳部队，同时命令部队赶快准备进攻器具，并迅速展开攻势，与吕布对峙一百余天，最后，蝗灾突起，百姓受害严重，吕布粮食也已用尽，双方各自引兵退去。
兴平二年（公元195年）夏，曹操进攻吕布大将薛兰、李封，吕布看到薛兰危险，便出兵相救，薛兰兵败被杀，吕布逃走后又与陈宫率万余人来战曹操。曹操的兵士都外出收麦去了，留在屯里的不足千人，敌人一旦发动进攻，大营难保。于是，曹操就命令屯中妇女守卫城墙，所有士兵外出迎击敌人。屯的西面有一道大堤，大堤的南面树木幽深，一眼望不到边。吕布来到之后，怀疑曹操在树林里埋有伏兵，便告诫说：“曹操诡计多端，千万不要进入他的埋伏圈中。”于是便命令军队在屯南十里驻扎。第二天，吕布再次带兵试图攻袭，曹操则将一半部队埋伏在大堤里边，另一半在大堤外等待机会。吕布进攻，让轻兵先行挑战，双方迅速交战在一起，这时，曹操伏兵迅速登上大堤，步兵、骑兵齐头并进，吕布猝不及防，大败而回。曹操夺得定陶。这年十月，献帝正式封曹操为兖州牧。
出任兖州牧、整编青州军，是曹操政治生涯中极其重要的一步，至此，他不但拥有了与其他军阀同样的政治地位，也拥有了足以与其他武装势力相抗衡的充足的军队，再加上曹操政治上的远见卓识，铲除各路军阀势力、平定北方、统一全国已不再是遥远的梦。
