实际上，新年之夜，陈毅和粟裕并没有下达全面攻击的命令。
前线的慌乱，是国民党军与共产党地方民兵发生交火导致的。
宿北战役给向苏北进攻的国民党军以严重打击，迟滞了向胶济线、鲁南和苏中发起进攻的国民党军的攻势。但是，戴之奇的整编六十九师的崩溃，只使国民党军的包围圈上有了一个缺口，一旦其重新调整部署，这个不大的缺口即刻便可封闭。此时的陈毅与粟裕部依旧处在敌人的夹击之中。
一九四七年新年来临之前，陈毅和粟裕经过慎重思考终于下定决心：“集中兵力歼灭鲁南之敌。”目前在鲁南地区，国民党军主力是整编二十六师，只有将主力歼灭，局势才能真正好转。
战役决心已下，山东和华中两野战军主力奉命秘密北上。参战部队被编成左右两个纵队。共产党军队的兵力已是马励武的整编二十六师的四倍。
战役发起时间为一九四七年一月二日午夜。
在此之前，整编二十六师已经侦察到了陈、粟主力向鲁南开进的情况，马励武也预感到自己突出的位置很可能成为陈、粟的攻击目标，他向国民党徐州绥靖公署主任薛岳请示，要求全师收缩至峄县，但是请求未获批准。马励武只好命令就地压缩阵地，以师部所在的马家庄为中心，在一个东西长二十五公里的狭长地带构筑起防御阵地，并部署了以坦克机动火力为中心的防御体系。
独自被阻隔在峄县县城里的马励武忐忑不安，一月二日晚二十二时，从前方传来的无线电通报说，二十六师各旅同时受到了猛烈攻击。这一天，左路的第一师已深深地插入整编二十六师与整编五十九师、七十七师之间，整编第二十六师被分割包围。
马励武终于在峄县待不住了。三日一早，他带领两个连乘卡车冒险而出，企图回到他的指挥位置上，但是走到半路还是退了回来，因为他的侦察部队反复向他渲染前方战事的危机，令他最终失去了冲向战场的勇气。
此时，在瓢泼大雨中，共产党军队的左右两路纵队开始猛烈压缩，到四日凌晨，整编第二十六师师部和第一快速纵队被包围于陈家桥、贾头、作字沟等几个村庄里。
马励武战前预定的撤退方案是：在快速纵队坦克的掩护下，以卡车为主要交通工具快速移动，原则是坦克夹着卡车车队和炮兵车队沿着公路滚动前进。马励武确信没有什么能够阻挡这样的铁流。
大雨逐渐转成了漫天雨雪，天地间一片朦胧。有参谋问粟裕是否改变总攻计划，粟裕回答：“不变，这是老天爷帮我们的忙。雨雪交加，道路难行，把敌人的重装备陷在那里，他就更难逃脱了。”
连续的雨雪确实帮助了共产党官兵。
一月四日上午十时，国民党整编第二十六师残部和第一快速纵队开始突围。坦克、汽车、炮兵和步兵混杂在一起，拥挤在通往峄县的公路上。在共产党军队的四面围攻下，原来设计好的行军序列已完全混乱。更严重的是，由于公路被混乱的步兵和炮兵壅塞，同时公路上处处是民兵埋设的地雷和挖好的反坦克沟，比步兵行进速度快的坦克和汽车为了尽快逃离战场，纷纷开下公路想从野地里夺路而奔——这些钢铁机械一旦下了公路，末日也就到来了。
整编二十六师和第一快速纵队的抵抗意志崩溃了。整编二十六师的几名军官下令官兵停止抵抗，第一快速纵队二三九团团长也率全团放下了武器。四日下午三时，战斗结束，国民党整编二十六师四十四、一九六旅全部，第一快速纵队坦克营、工兵营、炮兵团、运输团和步兵八十旅，共三万余人全部被歼。
雨雪还在飘洒，但战场上充满欢乐。两个野战军的官兵、民兵和附近的百姓忙着收缴和清点战利品，这是他们前所未见的,令他们既惊奇又兴奋：数十辆坦克、成排的美式重型卡车拖曳的重型大炮；数百辆汽车上满载着弹药、被服和大米；各式吉普车，车上也装满了子弹；还有满是洋文的罐头、饼干、糖果香烟。成箱的重炮炮弹让官兵们犯了难，谁也不清楚这些涂着各种颜色的美国炮弹是干什么用的，赶紧找来懂点外国字的干部辨别，干部们把写有“Ｈ”标志的穿甲弹和“Ｆ”标志的燃烧弹分开，并且将它们与匹配的大炮放在一起。官兵们让被俘的国民党军坦克驾驶员加大马力，同时数十名官兵在坦克的前面和后面连推带拉，可就是无法将这些庞然大物从泥沼中开出来。“拉坦克比打坦克还难！”附近村庄里的百姓把自家的门板卸下来扛到这里垫履带，最后终于把坦克弄上了公路。上千名国民党军的坦克驾驶员和汽车驾驶员被集合起来，一个共产党干部当场宣布他们从此成为共产党军队的一员，并且与他们每个人都握了手。这些几小时前还是国民党军的人，立即把坦克和汽车发动起来，往共产党山东解放区首府临沂方向开去。后来华东野战军的“特种兵纵队”在此基础上诞生。
当陈毅和粟裕即将在鲁南对整编第二十六师发起全面攻击的时候，刘伯承和邓小平在鲁西南的巨野、金乡和鱼台地区进行了一场更大规模的战役，史称“巨金鱼战役”。——这场战役距陈毅、粟裕部的预定战场仅两百余公里，在那段雨雪交加的日子里，陈毅和粟裕得知晋冀鲁豫部队就在自己的西面，该是多么的惬意，因为他们可以不用顾虑徐州方向国民党军的威胁，放心大胆地作战了。
此战不但使国民党军打通平汉路的计划受挫，更重要的是保障了在鲁南作战的陈毅、粟裕部侧后的安全。
一九四七年一月五日，这一天，马励武的心情恶劣到了极点。下午，侥幸从战场逃脱的副师长曹玉珩带领少数残兵跑回峄县县城。溃兵个个怒气冲天，伤兵们则是呻吟哀号，整个峄县县城顿时人心惶惶，秩序混乱。有军官向马励武建议，部队最好全部驻扎在城外，只允许司令部住在城内，结果遭到马励武的一顿臭骂。他向薛岳请示说，整编二十六师已经完全丧失战斗力，要求退到后方休整。薛岳一口拒绝，严令他立即整顿部队，坚守峄县。马励武看着眼前的残兵败将一下子不知所措了。
三天以后，入夜时分，陈毅、粟裕部攻击峄县的战斗开始了。战斗持续到天亮，防御外围的国民党守军纷纷逃进城内，马励武顿时紧张起来，因为此时的一切征兆都表明，共产党军队已决心把他从这个县城里挖出来。更令他惊慌的是，十日，整整一个白天，射向城内的炮火格外猛烈，从爆炸的声音上判断，是共产党军队前所未有的重炮，城内的炮兵阵地因此受到了压制。
一天的轰击之后，黄昏，对城防的攻击开始了。炸开城门，解决了在城门洞里向外射击的两辆坦克之后，共产党官兵冲入城内。此时，马励武正在设在城南天主教堂里的师指挥部里，而他的指挥只剩下了一个内容，就是向徐州绥靖公署主任薛岳和第二十七军军长李玉堂请求部队增援和空投弹药，但是他得到的回答却是：“忍耐点老兄，总会有办法。”马励武恼怒到了极点，绝望到了极点，他在电话里吼着：“必须在我有办法之前，你们的办法才用得上！我现在已经快没办法了！”接近午夜，城防防线垮了，共产党军队开始了南北夹击，峄县城里混乱不堪，那座天主教堂的尖顶已被炮弹炸开了几个大窟窿。
