但是木已成舟，张湟言也是无可奈何，此刻郑军既退，清军封锁了江宁水路，浙军无法从水路退军
浙军甫一撤退，芜湖、宁国等新附州县纷纷倒戈，张部困顿大江，所需钱粮军械不得补充
张湟言只得下令全军退往巢湖，准备在巢湖驻军，继续抗清，此时安庆，江宁清军皆至，张部本是蚁聚之兵，一旦受挫，立时溃败，当他赶至巢湖时，军马只剩三千余人
浙军抵达巢湖后，魏大龙等浙军将领观察水文之后，认为巢湖入冬后水浅，根本不便停留海船，不如进入英霍山山区，那里从前有不少抗清义师的山寨，或许能够立足
张煌言考虑之后采纳了这个建议，毅然下令全军弃船登陆赶往桐城，由桐城进入山区
此时清两江总督郎廷佐却是派人送来信使，直言张湟言志向高洁，满清皇帝甚是看中，若全军来降，大清当不吝封侯之赏
时张湟言由于屡遭败绩，而大好形势毁于一旦，心忧成疾，左右不忍他再跋山涉水，苦劝其投降
然张湟言却依旧咬牙坚持，誓死不渝，带兵毅然转入山区
英、霍山区属于大别山系，正处在河南、安徽、湖北三省之交，山势波澜起伏，常年云雾缥缈，在安徽境内尤其险峻，陡崖、峡谷遍布，仍有一些抗清组织在山中筑寨
由于浙军不少士兵的眷属随行，加上武器辎重，故而张行进速度很慢，六天之后才到达桐城
浙军进入山区之后，不只跋山涉水，还需翻越险峰峻岭，连骑兵都只能牵马而行，而且绝大部分的士兵都来自沿海，缺乏登山的装备和经验，连续行军之后，一个个疲惫不堪
原本浙军的目标是阳山寨，一个位在山顶的村寨，可容纳上万人，一直是抗清的根据地
张煌言先通过山民联络，才得知阳山寨已接受清军招抚，原因正是南京兵败
张煌言大为愤怒，欲领兵攻击，但虑及地势险峻，仰攻不易，终究放弃，改往英山山区
岂料当他率军抵达东溪岭时，却被清军追至，双方在东溪岭决战，由于浙军俱是水军，不善于陆上作战，加之行军疲惫，遂被清军包围
在危急关头，张湟言并不气馁，抱病督军死战，至第三日，浙军终于弹尽粮绝，然而这些明军依然死战不退，他们用石头，用木棍和清军殊死博杀，然而清军人多势众，最终攻克东溪岭
参军徐允耕，以及原清军南陵副将张文胜皆力战身亡，原定西侯张明振麾下参将魏大龙为了掩护张湟言突围，拼死力战，身中十余创，仍死战不退，最终被清军砍杀
张湟言突围之后，所部人马皆散，他只得换装潜行，至高浒埠方为抗清的军民认出，将其潜藏于家中，待伤好之后，张湟言不顾众人劝阻，孤身上路，欲返回浙东，召集旧部重整旗鼓
至此郑成功和