国民党军主力在整编第72师在泰安被歼后，仍按原计划继续向新泰、蒙阴地区进攻。华东野战军为了创造新的战机，对部队作了如下部署：一面以第1、第3、第6纵队沿津浦路侧南下，出击宁阳，威胁敌重要补给基地兖州，诱歼可能西援之敌第5军，其中以第1纵队直攻宁阳，第3纵队相机围攻兖州，第6纵队位于汶河南岸准备打援，并以第10纵队向肥城进攻，迷惑和分散敌人；一面以主力主动撤离新
4月27日，第1纵队一夜强行军80余里，以奔袭攻势包围宁阳，28日解放该城。
29日，国民党军占领新泰、蒙阴。这时，其整编第74师分布在界牌、蒙阴地段，整编第64师2个团位于垛庄，整编第83师控制于双侯集、青驼寺地段，整编第25师位于桃墟及其以西地区，第7军和整编第48师位于河阳、汤头一线。这个态势表明，临蒙公路沿线的国民党军配置分散，间隔较大，且刚到各地，立足未稳。
当日晚，华东野战军决心乘机攻歼临蒙公路沿线的国民党部队。部署是：以第2纵和第7纵队主力攻歼其第83师，并以1个师位于青驼寺以南地区打击可能由临沂、葛沟来援之敌；以第9纵队攻歼垛庄、界牌沿线之第64师和第74师；以第7纵队控制于尧山、塌山、天马山、界牌等地，准备打击可能由新泰来援之第11师；以第8纵队位于坦埠东南地区为总预备队。各纵队发起攻击后，国民党军各部十分警觉，未作有力抵抗，即急速收缩，退踞公路以南山区固守待援。
30日，华东野战军准备攻击退守南山之国民党军第25、第74、第65师等部，但因主力来不及迅速集中，未能实现。仅第7纵队于当天下午在青驼寺以北歼敌第83师第44旅一部，5月1日下午又在青驼寺以南的磨石沟歼第44旅1个团，共歼敌1个半团。2日，国民党军第7军和第83师全力向临蒙公路增援，第5军亦向新泰快速开进，华东野战军主动撤出战斗。
当天，陈毅、粟裕等人报告中央军委：4月30日至5月1日，本为我军围歼第74、第25、第65师等部计7个旅之绝好机会，不料我展开兵团已西渡汶河，转到宁阳方面，回师不及，故不能适时施行对第74师等部之攻击。4天后，中央军委复电勉励：“得悉青驼寺歼敌三千。但因1纵远去宁阳，来不及集中兵力打74师等部，失歼敌机会。……但失去一次时机并不要紧，当着不好打之时避开敌人挑衅，忍耐待机，这是很对的。”
3日，华东野战军鉴于国民党军整编第11师刚占新泰不久，又决心以第4纵队协同由津浦路西东返的第1、第3、第6纵队，求歼该敌，并于当夜完成了包围，但因敌第5军和整编第85师迅速向新泰靠拢，遂撤出战斗。
至此，泰蒙战役即告结束，此役共歼敌24000余人。