早在数日前，陈文帅军出现在金华府城城外，曹从龙并没有想到陈文叫他前来竟根本不给他说话的机会。可是随着捆绑马进宝的旗杆被明军竖起，即便没有听说过心理战，曹从龙也能从周围的抚标营将士身上看出不祥的异样，尤其是这种异样甚至在周钦贵等人身上也有。
眼见于此，心知军心已然临近崩溃，曹从龙连忙带着吕文龙以及二人的从人偷偷的下了城，随后更是连巡抚衙门都没有回去，一路向东直接从赤松门出了城。
然而，城是出了，可是“去哪里”这个问题就立刻摆在曹从龙等人的面前。
如陈文此前预料，曹从龙的随员和从人中出现了三个说法，第一个设法返回福建，弹劾陈文攻击友军，将屎盆子全部扣在陈文的头上；第二个则是投奔东阳县守将、抚标前营副将刘成；而第三个就是北上杭州降清，借满清的力量对付陈文。
第一个办法很快遭到了曹从龙的否定，任务没有完成，回去即便屎盆子真的扣在了陈文的头上也一样于事无补，鲁监国集团的困境一样无法摆脱，况且扣得上扣不上还是一个不小的问题。而第二个想法更是无稽之谈，从刘成到他麾下的军官士卒皆是陈文带出来的，谁知道这厮会不会直接把曹从龙等人卖个好价钱。至于第三个，说出那个想法的从人话还没彻底说完就被暴怒的曹从龙唤来卫兵拖下去处死，至于这个家伙脑海里有没有类似于曲线救国的念头还是犹未可知的。
当天夜里，要兵没兵，要办法没办法，进退两难的曹从龙一行人还没有来得及出现分歧，进而引发内讧，就被追赶而来的何德成一众人追上，而何德成同时还为曹从龙带来了一个不是办法的办法。
偷袭那个由前绿营兵组成的苦力营，随后裹挟那些清军老兵继续向东进攻台州！
这个想法大胆非常，不过难度颇高，但是他们一时间也别无他法。于是到了第二天一早，曹从龙、吕文龙以及二人的从人，加上何德成带来的近百人便一路赶往苦力营。
苦力营原本位于安华镇附近，他们是安华镇棱堡工程的全程参与者，为此也付出了百余人死亡、两百余人伤残的代价。但那里终归是军事工程，棱堡的土木工程完毕后，这支苦力营便迁到了义乌的华溪村以东，他们的工作也变更为在更东的山林中砍伐可以用来建造内河战船的大树。
这项工作虽说也不怎么安全，同样容易出现意外，但是苦力营的负责军官唯恐会在战时闹出大乱，所以对于工作量的要求很低，反倒是远比拼死拼活的夯土建城要轻松、安全得多，再加上这些苦力在安华镇时就已经在明军和监工们的压迫下屈服，这些前绿营兵们反倒开始享受这份“工作”，甚至还有一些人出现了对明军和监工们感恩戴德的病态心理。
可是随着曹从龙之乱的发生，苦力营虽然没有军官的家眷在府城遭到了挟持，但是监军文官公然在大军出征时内讧，唯恐出现大乱，苦力营的负责军官便停止每日的工作，将苦力们禁锢在营区，以防消息传入其中。