梁军挥师西进，所过各城望风而降，很快就来到了荥阳城下。荥阳是洛阳以东最后一座大城，重要性不言而喻。元天穆这时刚刚干掉济南的邢杲，赶在回军的路上，北魏朝廷只好将洛阳附近剩余的七万兵力调到荥阳及其西面的两个关隘——虎牢和轘辕，由东南道大都督杨昱死守荥阳，尔朱荣的两个堂弟尔朱世隆和尔朱世承则把守虎牢和轘辕。
荥阳攻城战异常艰苦，城中军队多过陈庆之数倍，梁军的第一拨攻势被击退了。更为不利的是，元天穆与尔朱荣侄子尔朱兆的援军即将到达，旌旗招展，远远已能望见。梁军士卒上下惊恐，出现了怯敌心态。
唯有陈庆之一点不慌张，他命士兵稍事休整，人马吃饱喝足，然后登高呼道：“我军至此以来，攻城略地，着实不少；诸君杀人掠女的行径，也数不清了（由此看得出梁军战斗力虽强，军纪却很糟，一路胜仗却没有收取魏国民心，最终失败不可避免）。元天穆的援军，都是我们的仇敌。我军才七千，魏军三十多万（这是虚指魏军总数，而不是荥阳一城守兵的数量，也不是城外援军的数量。有人以此质疑战争的可信性，实际上是误解了陈庆之以众多的敌军人数激励将士奋发作战的本意）。今日不是我死，就是敌破！不可与敌军骑兵在平原上交锋，先把城池拿下。诸君切勿迟疑，以免自取灭亡！”
说完，陈庆之下令擂鼓攻城，七千将士个个精神抖擞，如发了疯的蚂蚁一般涌向荥阳的城墙。城内的杨昱正盘算等援兵一到便出城夹攻，哪里想到梁军如此凶狠？仓促之间布置守备，根本来不及了。梁军打头的士兵已经从城墙缺口处翻了进来，气势如虹地杀向城内。荥阳的魏兵死伤惨重，杨昱也做了阶下囚。（战后元颢念他忠义不降，放了他一条生路。但梁军大杀城中俘虏的部将，却进一步激化了双方的仇恨）
梁军控制了荥阳，元天穆的前锋也兵临城下。陈庆之乘敌军立足不稳，突然率领三千骑兵出城迎战。魏军远道而来，还没摆开阵势就遭到痛击，一下子崩溃了。
荥阳之战是陈庆之名震中原的经典作品，在攻城和野战中他都做到了出其不意，速战速决，把军队的机动性发挥到极致，很有现代“闪击战”的风采。洛阳城的儿童也因此唱起了“名师大将莫自牢，千兵万马避白袍”，北魏守军望风而逃。元天穆率部退往河北，尔朱世隆放弃虎牢，他的弟弟尔朱世承放弃轘辕，在逃跑途中被杀。
洛阳以东再无一险可守，北魏孝庄帝在洛阳待不住了，他带着亲信秘密逃往河内（今河南沁阳），继而北上并州，与尔朱荣会合。附近的城池纷纷向元颢投降。元颢与陈庆之进入洛阳，接受北魏百官的朝拜。南朝军队最后一次占领了洛阳城，以前，桓温、谢玄、刘裕等人都曾攻克洛阳，然而只有这一次，洛阳是作为北朝的首都被攻取的。
傀儡元颢在洛阳做的唯一一件好事，是杀了河阴惨案的罪魁之一费穆（恶人自有恶报）。他坐稳了皇位，就不想再受梁国的管束，但毕竟四面都是北魏军队，还得倚仗陈庆之的辅佐。陈庆之也意识到打得过狠了，完全超出了预期的目标。他向元颢提出：“我军人数太少，深处敌人腹地，若让敌人知道了虚实，哪里还挡得住？早向南方请求精兵救援才是正道！”
元颢身边的安丰王元延明说：“陈庆之兵不过数千，已难以驾驭，若再让他增兵，哪里还能听我们的？”
元颢点头称是，他赶紧给梁武帝上表说：“如今河北、河南都已平定，只剩尔朱荣的小股势力，我与陈庆之足以将其擒获。各州郡新近归附，正需安抚，不宜增兵惊扰百姓。”梁武帝听了元颢的话，命其他军队停留在边境观望，断了增援的可能。（关于梁武帝是否应该继续派兵进入魏国，历来争议不小。陈庆之的冒险成功，具有相当的偶然因素，而且危机四伏。增兵并不意味着就能扩大战果，也可能会扩大损失）
元颢与陈庆之的猜忌日益加深之际，尔朱荣的数十万大兵开到了黄河北岸。
洛阳东北的黄河北岸有一座小城，名叫北中城，紧靠黄河上的河桥。元颢派陈庆之带着他的几千白袍军把守北中城，自己则率领北魏的降兵守在南岸。尔朱荣屡攻北中城不下（攻城都那么猛，守城更是梁军的拿手好戏了），又没有足够的船只从别处渡河，几乎打算撤军再作计较。
黄门郎杨侃劝道：“胜败乃兵家常事，岂可以小败而废大谋？元颢已失民望，四方百姓都指望明公早日收复都城。依我之见，不如征召附近的民众捆扎木筏，沿河东西排开几百里，教元颢防不胜防。一旦渡河，大功必成！”
尔朱荣大受启发，他一面派人从附近找到了几艘可以作为向导的小船，一面命尔朱兆与贺拔胜监工，准备了大量木筏。一天深夜，尔朱荣大军从马渚渡口万筏齐发，扑向南岸，大败元延明的守军。元颢弃城南逃，随从失散，在临颍被县卒斩杀。陈庆之见大势已去，收拾几千步骑兵东还，尔朱荣一路穷追，途中梁军又被汛期的颍水冲没，陈庆之剃发扮作僧人，一个人抄小路才逃回了建康。
白袍军的努力付之东流，身为南梁最后的骁将，陈庆之也徒叹奈何。洛阳城的两度易手，只是北魏末年的一段小小插曲，前后仅持续了六十五天。
