黄伯韬兵团在碾庄圩地区被解放军合围后，蒋介石命令黄伯韬固守待援。碾庄圩地区位于运河以西，陇海路两侧。以碾庄圩为中心，共有十几个村庄。其周围是平原开阔地和低洼地、水塘。道路宽广、村庄稠密。为防洪水泛滥，每个村庄都修筑有高出地面二尺三寸的围子。该地区原为李弥第3兵团的防地，已经形成了比较完整的防御阵地。黄伯韬兵团退守该地后，利用这些工事和有利的地形，迅速筑成以地堡群为骨干，并有纵横交错的支撑点，村与村之间又可以以兵力、火力相互支援，易守难攻。黄伯韬以碾庄圩为中心，部署第100军在西，第44军在南，第64军在东，第25军在北，形成集团式环形防御阵地，实施固守。上述4个军中，以第25、第64军战斗力较强，第100、第44军战斗力较弱。
蒋介石的各路援军在解放军强大打援部队的顽强阻击下，与黄伯韬会合的美梦破灭了。
华东野战军担任围歼黄伯韬兵团的6个纵队，从11月11日起，从四面八方向敌展开猛攻。敌人在空军掩护下逐村顽抗。各纵队由于从追击仓促转入村落攻坚，准备不足，火炮均未跟上，以致连续3天进展缓慢，伤亡较大。
14日晚，华东野战军司令部召开担任攻坚任务的6个纵队（含特纵）指挥员及山东兵团指挥员参加的作战会议，总结经验，研究歼敌的有效措施。会议决定先打弱敌，后打强敌的方针，采用村落攻坚战法。把第100、第44军较弱之敌，作为首先突击的目标，而后围歼碾庄圩兵团部与战斗力较强的第25、第64军。
具体部署是：由山东兵团兼政治委员谭震林、副司令员王建安统一指挥，聂凤智第9纵队在南，王必成第6纵队在西南，周志坚第13纵队在西北，陶勇第4纵队在北，张仁初第8纵队在东，特纵（炮兵、坦克）按配属分别进入阵地。针对平原地形开阔，敌依托村落组成集团防御、火力密集、接近困难等不利情况，要求各部队抓紧时间做好攻坚的各项准备工作，特别强调各部进行土工作业，想方设法把堑壕挖到敌阵地前沿和攻击目标的两侧，用众多的交通壕连接，以求隐蔽接敌，每战能以较小的伤亡，攻歼守敌。
16日晚，围歼黄伯韬兵团的各主攻部队经过两昼夜的土工作业和各项准备工作后，集中兵力、火力，以碾庄圩以西、以南各村落据点为目标，发起猛攻，广大干部战士不怕牺牲，英勇顽强，逐村逐屋展开争夺。
18日，解放军全歼国民党军第100军、第44军。第100军副军长杨诗云、第44军军长王泽浚被活捉。第150师师长赵壁光率残部2000余人投诚，敌第25军、第64军也伤亡惨重。
19日晚，各攻击部队对碾庄圩黄伯韬兵团部发起总攻，经一夜激战，于20日晨攻占碾庄圩，歼敌兵团部和第25军大部。黄伯韬逃到大院上第64军军部，作垂死挣扎。
21日晚，解放军向敌第64军所在地大、小院上及第25军残部所在地尤家湖发起总攻。22日黄昏，全歼残敌，生俘第64军军长刘镇湘。
黄伯韬与第25军副军长杨廷宴于22日由碾庄东北之小费庄向西突围，至一独立家屋草堆下，黄举枪自杀。黄临死时对杨廷宴懊丧地说：“我有三不解：第一、为什么那么傻，要在新安镇等待44军两天。第二、我在新安镇等两天之久，为什么不知道在运河上架设军桥。第三、李弥兵团既然以后要向东进攻来援救我，为什么当初不在曹八集附近掩护我西撤。”（《中共党史参考资料》第11册，第320页）
从1948年11月6日至22日，华东野战军和中原野战军协同作战共消灭敌军1个兵团、8个军（含冯治安部起义、孙良诚投诚各1个军部）、18个整师（含起义3个半师、投诚两个师），重创敌各路援军，共歼敌17.8万余人。控制了战略枢纽宿县，将刘峙集团分割为南北两大股，为全歼该集团创造了极为有利的条件。
23日，中央军委致电华东、中原野战军领导，庆祝战役第一阶段的伟大胜利，并指出：造成这一胜利的原因，“主观上是因为我华东、中原两大野战军会合并攻占宿县，客观上是敌人只有某种程度的防御能力（对于这一点绝不可轻视），很少有攻击能力（对于这一点必须有充分认识）。”（《淮海战役》，第181页）并勉励他们作好充分准备，“在第二阶段中大量地歼灭南面敌人”，争取新的更大的胜利。