奉王耀武之命，中方组织了一支携带电台的搜索队，任务是搜索敌情，同时与衡阳守军取得联系。搜索队进入衡阳城边缘不久就被日军发现，只能边打边退。
不过几天之后，便有第十军的守城官兵沿这一方向突围出来。他们告诉搜索队：“这几天都听到西郊外有枪声，知道增援友军已到，所以我们敢于冒死逃出虎口，奔向你们。”
至8月5日，在七十四军等部队的猛烈进攻下，日军第二三四联队已经伤亡大半，以所属第三大队为例，兵员最多的一个中队连伤员在内只剩下二十四人，最少的中队仅剩两人！
即使处于这种情况，青木师团长仍严令户田，绝对禁止后退。户田被迫将联队机关人员、通信兵、马夫集中起来当战斗兵使用，同时伪军“周部队”也被驱使至最前线。
第二三四联队的一线部队不仅兵员不足，而且弹药也极为缺乏，手雷已经全部用完了，士兵们只得用石块进行反击，或者是把中国军队刚投过来的手榴弹反投回去——这一招在实际使用时非常危险，最典型的是在衡阳一线督战的日军旅团长志摩源吉少将，他给士兵做榜样，现场示范如何将守军投过来的手榴弹迅速拾起抛回，结果却因姿态稍高被子弹击穿了头部。
日军第二三四联队最后退至大水塘以东高地，七十四军由此成为外围十余万军队中最接近衡阳的部队。站在鸡窝山的山头上，已经可以看到衡阳城的房屋，城内的枪炮声和炸弹声也清晰可闻。
似乎离解围只差一步之遥。然而在8月7日，由衡阳城内逃出的第十军官兵却带来了一个坏消息：“衡阳城西第一〇九师阵地已插白旗向敌投降，你们来迟了。”入夜，衡阳城内一片静寂，再无激烈的枪炮声传出，验证了这一消息极可能属实。
8月8日拂晓，又有从城内陆续逃出的官兵证实，第十军弹尽粮绝，方先觉已率部投降。
对方先觉而言，投降是一个万般无奈的决定。在此之前，他向蒋介石发出了最后一封绝命电：“此生已矣，来生再见！”据说他也曾举枪自杀，只是手枪已被副官提前取走，在部下“军长你带我们走一条活路”的劝说下，才选择了走投降的道路。
按照很多人理所当然的标准，方先觉投降之举无法得到原谅，连薛岳曾经的智囊赵子立都对之不屑，质疑：“抵抗了四十多天，就有资格投降吗？”
其实赵子立在长沙即将陷落时也急于逃出，所以在这种事上，批评指责的人实际占据的仅仅是他们所认为的道德高地而已。倒是七十四军历经百战，又有过常德保卫战那样的血泪经历，对方先觉及第十军赋予了更多的同情和理解。他们认为，能够孤军守城达四十七天，对于装备处于劣势的第十军来说，已经是非常不容易了。要追查衡阳陷落的责任，只能归咎于将帅不和，友军配合行动不能一致，以致坐失解衡阳之危的良机。
后来经过很多波折，方先觉从敌营中脱逃出来。时任第四方面军司令的王耀武不避嫌疑，亲自派一名副师长率兵前去迎接，并帮助方先觉转赴重庆去见蒋介石。
蒋介石对待方先觉的态度也很可玩味。余程万当年从常德突围，差点被枪毙，但是方先觉却得到蒋介石的慰勉，并授以青天白日勋章。
原因很复杂，其中一条可能是蒋介石认为，违令逃跑和战败投降，二者有着性质上的根本不同，前面一个当斩，后面一个却可以被解释成是不得已情况下的降汉不降曹。二战结束后，蒋介石在重庆会见了曾投降日军的美军将领温赖特，他说：“军人，战斗到弹尽粮绝，是可以暂时屈服、放下武器的。中国有句老话：‘胜败乃兵家常事’，所以，应该善待放下武器的军人。”
蒋介石并不是当着老外的面才这么说，他在处理庞炳勋投敌事件上同样如此。在日本投降的第二天，庞炳勋就接到了蒋介石所发出的电令：“马上归队，参加受降行动！”
为了攻克衡阳，日军付出了极大代价。在见到第十军挑起白旗后，横山勇立即抽出一个大队前去鸡窝山救援已被打得不成人形的第二三四联队。
日俄战争中，
第二三四联队长户田认为自己在衡阳之战所立的功劳，已经可以和梅泽相提并论，而对原先显得极其绝情的军司令官，他也奉送一顶高帽，称横山勇在考虑是否要对他进行增援时的心情，就和当年大山对待梅泽相仿。
自常德会战起，中方的空军力量就已超过了日军，但与此同时，相当数量的地面部队却都缺乏整体观念和顽强的战斗意志。在奉命解围的过程中，他们有的保存实力，有的随意撤退，有的见死不救，有的做做样子，由此导致防守部队孤立无援，精疲力竭，运气好的尚可靠所剩力量组织突围，运气不好的就只能等着被歼灭或战败投降。
在应该受到指责的部队名单中，应该不包括“虎部队”。尽管没能为衡阳解围，但七十四军尤其五十八师的表现和努力仍然得到认可，五十八师师长张灵甫荣膺宝鼎勋章，先前七十四军获得这一荣誉的战将分别是余程万和李天霞。