接连损失了七八十位斥候后，张天禄已到了忍耐的极限。
绩溪城内粮草还够支撑下去，但他心头危险的感觉越来越重。大军在绩溪城内变成了聋子和瞎子，不是所有百姓都在支持明军，但几乎没有百姓在支持他们。
从前天起，兵马出城极不安全，即使是上百人的队列。当山民猎杀队碰见他们无法解决的清虏人马时，他们会向一直在保护粮道的左若军汇报。
张天禄决定退兵。他先命三百轻骑兵从翠岭退入宁国府，在绕道东天目山进入昌化，向来自杭州的援军禀告徽州府的战局。又等了一天，率一万多兵马从绩溪城撤出，逃回宁国府。
至少他收复了宁国府，只是在杭州大军牵制浙东兵马不力，所以丢失了徽州府，张天禄这么想。
昱岭关下，张存仁攻关四日。
这几日他抓捕不少山民拷问，打听徽州府的消息，渐渐了解了那里发生了什么。他对张天禄攻下徽州又丢失了徽州懊恼不已，张天禄丢失了徽州和旌德，只有夹在中间的绩溪一地，他也认为这场战事该结束了。
清虏连日攻关不止，张存仁之所以这么做，是想让张天禄安全脱身。
徽州府。
信使飞奔向浙东。
休整了五日的左若部兵马在山林中疾走。
张煌言率义军收复绩溪县城，在旌德和绩溪两地布置重兵。翟哲匆匆离开徽州，赶往昱岭关，只有他在那里，方国安才会不惜代价咬住张存仁。他没打算围攻张天禄，张天禄已经中了他的蛊毒，迟早会发作。
浙东的兵马全动了起来，两日后朱大典兵出金华，三日后孟康兵出诸暨。
沿途好多山，全是崎岖难行的山路，好在平虏将军麾下士卒多是浙东的山民。
连续两日，昱岭关上的守军明显兴奋的多，把攻城的清虏打的落花流水，这是因为翟哲到了这里引发的变化。张存仁本能感觉有些不对，让大军放缓攻势，命斥候紧盯徽州府方向，他在着深山中也担惊受怕。张存仁比翟哲想象的要警觉的多。他随祖大寿降清，联系为清虏攻破锦州和松江。
“难道是张天禄兵败了？还是张天禄已经撤军了？”
摸得着的明军不可怕，看不见的明军才吓人。
第四日清晨，张天禄的信使绕道东天目山经昌化到达昱岭关下。张存仁惊吓的一身冷汗，匆忙下令退兵。
了望兵迅速禀告翟哲，翟哲与方国安同上关头，用千里镜遥看，十多里外清虏兵马正在收拾行装。
翟哲放下千里镜，转首说，“方总兵，看你的了！若是能击溃张存仁兵马，我会想朝廷请示报功，从今往后徽州府的田赋将归你所有。”
徽州不是产粮之地，要不然也不会有那么多人常年外出经商，每年的田赋能有几个钱？但翟哲之所以到现在才放口风，正是在吊着方国安的胃口。鱼鹰吃饱了就不会再去捕鱼了，他不能一次把好处都给足了，否则如何能让方国安卖命。
方国安果然大喜，说：“清虏想来就来，想走就在，哪有这等好事。”他转头找来亲兵，下令：“命方元科率五千士卒出关，追击清虏！”