1947年元旦，准备参加鲁南战役的人民解放军各参战部队先后到达了进攻出发位置。1月2日晚，各参战部队向国民党整编第26师发动了全面进攻。此时，敌26师师长马励武还在峄县欢度新年，他对解放军这一重大的作战行动毫无察觉，其部队只好在毫无准备的情况下仓促应战。
峄临兵团的前锋整编第26师（附第1快速纵队）系国民党军嫡系精锐，号称“国军精华”，全部美械装备。1946年9月调鲁南战场，配合整编第52师北攻峄枣线，进占峄县、枣庄、郭里集等地；11月上旬又配合整编第77师东进兰陵、傅山口，骄横异常，不可一世。
第1快速纵队前身为抗日战争时期印缅远征军第80师，其所属战车营由以蒋纬国为团长的第1战车团拨出，是蒋介石仅有的两个快速纵队之一。12月12日，该师由峄县东犯，在鲁南解放军的节节抗击下，先后占领平山、石城崮、石龙山、向城，前锋到达卞庄（今苍山县，临沂西南60里）。
整编第77师相继攻占兰陵、大小良壁、四户、长城。当整编第69师于宿北被歼后即停止进攻。整编第26师西起傅山口、东到卞庄，沿峄临公路长50里一字排开，暂时转入防御。
敌整编第26师深入解放区作战，十分艰苦，白天的进攻遭到解放军顽强抗击，夜晚宿营不断遭到民兵游击队的袭击，不得安宁，后方交通线频遭袭击。特别是听到整编第69师被歼后官兵更是惴惴不安。
敌26师师长马励武在后来回忆这时的心情时说：“听说戴之奇的部队被歼灭，戴之奇被打死，这个消息使我心神为之震动，不安良久。”（马励武：《蒋介石整26师马励武部峄枣庄被歼记》，《文史资料选辑》第28辑，第77～78页）
整编第26师攻占向城时，马励武就感到孤军深入不妥，曾电薛岳请示行止，薛岳电令继续向东挺进，迫不得已才进到卞庄。马励武后来回忆说：
25日以后，我已发觉新四军方面主力转移至我方，有包围我军的企图，电薛岳报告并建议速进速退，把我军撤至适当位置，左右均与友军取得密切联系，免得孤军陷入重围，久曝师于新四军腹地，并请副主任冯治安代向薛岳陈述，改变作战方针。但是顽固的薛岳复电不准，认为新四军主力仍在苏北，没有向鲁南移动。只令我将马家庄以东前锋1个团稍后撤，主力即在马家庄附近筑工警戒，不断派队搜索情况，相机进展。到31日止，我方已侦得新四军调到我方的部队已有11个师单位之多，判断新四军主力北调，我方必有陷入重围致遭覆灭的危险。但薛岳不采纳我的建议，我当时认为，事已如此，只好孤军奋战，也临时召开了军事会议，作了决心打下去的战斗部署：即以44旅固守马家庄以西及南北地区，形成一个据点，与马家庄师司令部保持联系；169旅固守马家庄以东及以北地区为一据点；师司令部、直属队及第1快速纵队以马家庄为核心，在马家庄西南地区构成阵地为中央固守区，各部队应加强工事及副防御设施。这个部署实际上是脆弱的，等于一字长蛇阵，处处薄弱。我判断新四军必然是一个沿我军周围预设好的包围圈。我对团以上干部说：这是一个生死关头，只有拼命打下去，或者可以死中求生。勉励他们同心同德应付这个危局，并认为12月30日及31日会有大战打的，于是各方面都把挨打的架子撑好了，期待着战斗的来临。（马励武：《蒋介石整26师马励武部峄被歼记》，《文史资料选辑》第28辑，第77～78页）
1947年元旦，马励武感到自己判断有误，认为战争可能过几天才会发生，上午在师司令部举行了元旦庆祝会及会餐。在电话上征得了兵团司令官李玉堂的同意，将前方指挥任务交给副师长曹玉行和参谋长郑辅增负责，遂乘车返回峄县当面与李玉堂商谈作战部署，并祝贺新年。