衢州虽然安全了，但以后的形势依然十分严峻，面对数十万之众的太平军，左宗棠兵力实在单薄，而清廷分摊各省的军饷，绝大部分又只是一张空头支票，根本无法落实，尽管左宗棠后来最大限度地扩充浙军，也只能达到三四万人，远逊于曾、李所部的兵力，而这种扩军，已经拖欠浙军大量的军饷。
即便如此，也不能将这三万余人全部投入浙江战场。浙军攻克严州、富阳之后，本来可以较顺利地一鼓作气，乘胜攻克杭州，但此时安徽方面的太平军先后攻克皖南诸多城镇，浙军只能按照曾国藩的命令，抽调刘典、王文瑞一万多人马前往增援，经过数月苦战，将那里的太平军击退。
此时，曾国藩要求这一万多浙军继续深入皖南，长期在安徽境内和曾军进行会剿，这一次，左宗棠拒绝了曾国藩的命令，他只留下由王开琳率领的3 300人驻守徽州屯溪镇，将其余8 000人全部撤回浙江。事后证明，左宗棠这一决定是非常正确的。
此时，浙军已经开始进攻杭州，可是离杭州六十里的余杭也驻有太平军重兵，如果单攻杭州，余杭的敌军必然会进行支援，将会使攻城部队腹背受敌，处于十分危险的境地，因此，必须在攻打杭州的同时，也攻打余杭。这样，就只好将两万余人分开，同时对杭、余两城发动进攻。本来就严重兵力不足，一分为二之后，就更显单薄了。此时，离杭、余二城不远的湖州，聚集着大批太平军，一旦他们赶来增援，攻城浙军将面临险境，因此，调回8 000人阻击援兵，显然十分必要。
李世贤因急于摆脱左宗棠纠缠，以回援天京，于六月中旬以攻为守，调大军分两路直取遂安，奔袭左军后路。于是左宗棠调刘典等九营4 000人回援。六月二十日，刘典等部与太平军战于遂安东南。二十七日（7月18日），李世贤退回金华，将兵力集中于金华、兰溪、龙游、武义一线，作坚守打算。左宗棠统兵进入浙江以来，由于太平军将士的英勇奋战，使其进展相当缓慢，入浙八个月始终未能越过衢州一线。直至同治元年八月上旬，新任浙江布政使蒋益澧率广西左江镇总兵高连升、副将熊建益的湘军8 000人从广西经湖南开抵衢州，战局才开始发生变化。七月，清军攻陷处州府，闰八月十三日（10月6日），蒋部高连升一军攻陷严州府寿昌。李世贤见一时无法击溃左宗棠的进攻，只好派将分兵扼守金华、汤溪、龙游一带，阻截清军东进。他自己则于是年闰八月（1862年10月上旬）奉洪秀全之命，率精兵7万多人驰救天京。此时，浙江太平军力量顿时薄弱。重点设防的龙游、汤溪等城，真正能作战的留防士兵不过数千人。群龙无首，自然会乱成一团，部队统帅不在，留浙各支太平军没有统一的指挥，士气下降了很多，甚至有些将领选择了投敌变节。而这一切，对左宗棠来说，都是非常好的机会。此后，不到半年时间，清军相继攻陷汤溪、龙游、兰溪、金华、武义、永康、东阳、义乌、浦江、诸暨等地，特别是攻下了严州西北的军事要地桐庐。桐庐位于浙江中游，自桐庐七里泷径下地势渐平，江面渐阔。由于桐庐失守，太平军在杭州上游的重地只有富阳（属杭州府）一城了，浙西防线因而全部溃垮。为指挥各军沿江直取杭州，左宗棠于同治二年正月下旬（1853年3月中旬），将大本营从金华移至严州府治（在浙江上游），派蒋益澧逼攻杭州。
在浙东方面，英法侵略联军于同治元年四月十二日（5月10日）悍然进攻宁波的太平军。当时英国有战舰4艘，水兵330人，由“争胜”号舰长刁乐克统带；法舰两艘，水兵70余人，由“伊台”号舰长耿尼统率。
