综合各方面情报，日军第十三军总部意识到，第三战区是想复制历次长沙会战的战术思想，一方面死守衢州，另一方面使用第七十四军等强力兵团从南北两侧向日军发动侧击。
每一次遭到失败，日方谋略层也会在研究之后，苦思对策。“后退决战”是以逸待劳，先削弱其力量再予以击败，而此次浙赣会战，日军第十三军几乎倾巢出动。为了进一步加厚兵力，5月31日，驻长江中游的日军第十一军也突然调出两个师团，从西线进行夹击。日军兵力出动之多，规模之大，武汉会战以来还从未有过，这使得“后退决战”很难达到原来的战术目的。
“争取外线”是要从最佳位置出发，由侧面实施猛击。日军第十三军已提前在二线设置了一个独成混成旅团，以做好迎接侧击的准备。
经过这样的安排，日军第十三军军司令官泽田茂中将认为暂时可以不必过于担心两翼，他的首要任务是突破衢州。
6月3日，日军向衢州发动全线进攻。除正面投入重兵外，另由其第二十二师团攻击五十八师防守阵地，阵地上烟尘四起，枪炮声、炸弹声震天动地。
当天日军第二十二师团并没有能够取得任何实质性突破，但泽田此时的主要目的还是防止七十四军从侧面攻击，只要让七十四军“基本陷入被动地位”，他觉得已经很不错了。
见日军开始围攻衢州，中方三战区判断以衢州为核心吸引敌军的计划已基本落实，遂决定于第二天实施决战。七十四军的任务是由守转攻，将日军压迫于衢江南岸予以歼灭。
不料当晚蒋介石向三战区发来急电，下令放弃决战衢州的原定计划。理由是他已得到日军第十一军出动的消息，日军兵力过于雄厚，若仍然依照原方案执行的话，不仅很难取胜，七十四军等精锐部队也将遭到不必要的重大损失。
这时的实际情形确实不是你想攻就能攻，想歼就能歼的。过去像在上高会战中，侧击部队所面临的压力都很小，可是现在七十四军正面却有一个日军师团，而且其他部队也被具有相当力量的日军压着，谁也帮不了谁。
6月4日，日军第二十二师团起兵再攻，战至中午时分，还曾迂回五十八师阵地，试图从南面突破防线。五十八师师长张灵甫及时把预备队派上去，才将日军予以击退。
6月5日，日军第二十二师团八十六联队向驻守山岭阵地的五十八师一七二团发起猛攻。日军步兵跟着“膏药旗”冲锋，都跟疯了一样拼命扑上来，一七二团官兵纷纷跃出阵地投掷手榴弹，当阵地面临被突破的危险时，更是多次与日军进行肉搏拼刺。
轮到要拼刺刀，阵地就有些麻烦了，张灵甫赶紧派上一七三团，终于在黄昏时击退了日军的进攻。这次战斗打死了很多日本兵，日军八十六联队第三大队大队长岛田仁次郎中佐当场毙命。
6月6日，张灵甫接到了撤退的命令。这时敌我双方战斗激烈，寸土必争，如果马上撤退，日军一定会跟踪追击，所以必须依惯例采取以攻为退的战术。
按照事先约定，小号手一吹响冲锋号，阵地内即喊杀声四起，各种武器齐鸣。等阵地前尘土弥漫，足以遮住敌人的视线，冲锋号马上停止，官兵不待命令即跳出战壕，背负伤兵撤出阵地。
撤退途中，状况又发生意外，五十八师师部遭到一股日军的伏击。张灵甫亲自上前观察敌情，但情急之下他犯了一个低级错误，没有寻找凹面位置或使用炮队镜进行观察，而是直接趴在了堤坝边。
日军见有高级军官模样的人在张望，马上瞄准目标施射攻击。在这个距离上，殂击手射程不够，只有迫击炮或小钢炮才够得到。如果张灵甫站在山腰或土坑里，他十之八九会没事，因为迫击炮弹呈抛物线飞行，不太可能正好落在他所站的地方，可堤坝就不一样了，炮弹只要落在身后，弹片就会迸射到堤坝边上，趴在那里的人根本无处躲藏。
当迫击炮弹即将落下的时候，张灵甫的副官已经发觉，翻身就压在了张灵甫身上。炮弹落地，副官被炸断一条腿，背上嵌进十多颗弹片，张灵甫虽得幸免，双手也被炸得血肉模糊。
除了决战计划放弃前后的阻击战外，七十四军此后参加的战斗皆为游击式作战，难以取得像样的战绩。王耀武组织参谋团参观长沙战场时，众人还都对第二十军的打法看不上眼，然而他们如今也只好这么干。
应该说，中国统帅部放弃衢州决战，以避免主力损耗的决策，并没有错到哪里，要说错，主要错在对日军何时主动后撤的时机把握不好。8月中旬，日军第十一军、第十三军分别后撤，但此时七十四军却被转调到了福建北部，远离浙赣前线。没了七十四军，第三战区留下的各部队大多缺乏猛追歼敌的实力和意志，加上日军防备警戒较严，所以浙赣会战后期也没能像以往那样扩大成果。
在七十四军参加过的历次大会战中，这大概是最乏善可陈的一次了，好在来日方长，只要愿意，“虎部队”还有的是搴旗斩将、建功立业的机会。