当宿北战役还在进行时，山东野战军司令员兼政治委员陈毅和华中野战军司令员粟裕就酝酿组织一次新的战役。面对当时的战场形势，从战略全局着眼，宿北战役胜利结束后究竟从那里打开局面？当时有三种可能：一是主力北上鲁南，寻歼整编第26师；一是南下涟水，寻歼整编第74师；再就是西出淮北，转入外线作战。
9、10月间，陈毅就曾与中共华中分局领导多次酝酿过西渡运河，恢复淮北，逼近津浦路及徐州，调动敌人，寻机歼敌于运动中的方案。宿北战役结束的前一天（12月18日），陈毅、粟裕向中共中央军委报告：我们拟于此战役结束后，不论歼灭敌11师大部或一部，决即渡运河西进，恢复淮北局面，逼近津浦路和徐州，迫使鲁南敌人后撤，两淮敌人回援。谭震林率第1、第6师及7纵（5旅与19旅合编）全部及第6旅两个团，仍留涟水以东打击74师等部东进，或尾击其回援淮北。
恰在此时，中共中央军委亦致电陈毅、粟裕：“第一、庆祝宿沭前线大胜利，望对一切有功将士传令嘉奖。第二、此战胜利使整个苏鲁战局好转，涟水暂失将来可以收复，也一定要收复。但第二步作战，拟以集中主力歼灭鲁南之敌，并相机收复枣峄台，使鲁南获得巩固，然后无顾虑地向南发展，逐步收复苏北、苏中一切失地。”（《毛泽东军事文集》第3卷，第581页）
但中共中央军委对战区指挥员的意见很尊重，立即复电：如你们觉得这样有利，可以这样做，唯宿沭战役结束后，须略作休整，并补充新兵，以使西进后能在津浦徐州附近连续作战。
然而并非所有的领导人都同意打74师，在临沂的黎玉、张云逸马上电告中央，请求主力回援鲁南。山野参谋长陈士榘、政治部主任唐亮于12月22日联名
陈毅对参谋长越过他这个司令员向中央发报十分不满，在电话里发脾气：“你们有电台，你们能发报，你们向党中央告我的状！”
陈士榘见老总发火，连忙解释他这样做是出于对全局的考虑，并不是闹个人意见。（陈士榘：《天地翻覆三年间》，第2章第2节）
陈毅虽然发火，冷静下来后便与粟裕研究情况。已经等了几天，74师不见动静。而鲁南之敌又向前推进，迫近临沂、郯城，企图切断我军主力与鲁南解放区的联系。
陈毅、粟裕当机立断，决定改变决心，12月24日他们请示中央：“我为应付今后苏鲁敌人之南北夹击，必须先击破一面，故不再等74师进，决即集中主力彻底歼灭鲁南之敌，攻占台、枣、峄之线。”同时电告山东的张云逸、黎玉：“74师迟拔，我决放弃歼击，留部队钳制，大军回援鲁南。”陈毅、粟裕命令1纵当天夜里全部北上，陶勇的1师西进。陈毅、张鼎丞、邓子恢返回临沂，张云逸组织山东部队阻击敌人保卫临沂，陈士榘、唐亮到新安镇指挥1纵、8师进攻冯治安部。
各部得到命令，立即开始分头行动。