明军的义乌、丽水二营南下的同时，清军的福建提督杨名高、左路总兵王之纲、右路总兵马得功也帅军沿着江山港一路南下，防止明军渡过江
明军把意图表现得如此明显，实在不符合兵家正理，但陈文却还是如此明目张胆的行事，清军却也无法置之不理。至少在杨名高等福建绿营将领看来，这支明军越是南下，就越是容易成为他们回返福建时的阻碍，万一被堵在了这里，面对连汉军八旗都不是对手的浙江明军，打不打先放一边，至少心里面是没有任何胜算的。
三支福建来的绿营齐头并进，向着江山县而去，怎么说也得先把那里站住，以后有什么事情也好有个应对的后路可言。然而没等他们走出一天，衢州西岸的清军大营便传来了明军强渡衢江、数万清军炸营而逃的消息。
甫一听到这个消息，杨名高等人除了震惊就剩下了怀疑，怀疑这个清军使者是明军假扮的，为行狡计而冒险假传消息，可是待他们确定了此人的身份后，这份怀疑立刻就化作了恐惧，驱使着他们不再考虑什么江山县城的后路的问题了，说什么也得先逃回仙霞关再说。
隔江相望，对岸的清军状态异常，接下来又收到了陈文强渡衢江正在衔尾追杀清军主力的消息。
说起来，近两万战兵外加倍于此数的辅兵反过来被一支只有六千人的明军追杀，听起来好像荒谬都了一定的程度，但是人皆存自保之心，谁肯回头迎战，况且大多数的清军建制已乱，没有个几天根本没办法重新把分散的士卒归回原伍，即便是如李本深、胡茂祯这样反应较早、建制也比较完整的清军也不愿意为大军殿后而折了自家的本钱。
接到了消息，李瑞鑫便下令渡过了江山港，缀在那三支清军的后面，时不时的突袭一番，总也不让清军有停下来休整的时间。
就这样，明清两军沿着江山港一前一后一路向南行进，明军偶尔追杀来厮杀一番清军也不敢应战，几乎只是留下部分殿后部队就继续南下。路上清军曾经企图伏击过一次明军，结果却不尽如人意，明军在从包围圈中轻易杀出后也只是跟在清军后面时不再那么轻敌冒进了而已，根本没办法把他们甩掉。
数日后，这支清军便沿着古道赶到了仙霞关，而明军则就紧跟在后面。
仙霞关位于浙江衢州府和福建建宁府之间的仙霞岭上，东北、西南各两个关口，统称为仙霞关
仙霞关关城东西与高山相连，南北有狭路沟通，号称“两浙之锁钥，入闽之咽喉”。战事频仍，烽火绵延不熄，历来为兵家必争之地。别的不提，数年之前，隆武帝起于福建，便以此阻隔清军入闽之通道，后来还是因为郑成功的那个坑儿子的爹郑芝龙撤除了仙霞关的守军，清军才由此杀入福建，覆灭了隆武朝廷。
仙霞关对于福建清军而言可谓是至关重要，一旦这里被浙江明军攻陷，那就意味着浙江明军拥有了进入福建与福建明军汇合的资本和可能，这对福建清军而言可以说是毁灭性的后果。