由于战乱，上海的厘税有所减少，但湘军、淮军和常胜军却在不断扩张，日费万金，罗掘俱穷。为了争夺军费，李鸿章与吴煦之间的矛盾日益尖锐。七月间，李鸿章给曾国藩写信说：“外国防费及炮勇、华尔所部口粮，月需十数万，从前税款尚不敷用，来日大难，不知何以为计。鸿章所统水陆及沪松裁剩兵勇，专指厘捐，向来所入月十余万，商怨沸腾。鸿章力求核实，月入或稍增加，遑恤人言。吴道仍欲抽作洋兵之用，鸿章每坚持拒之，若稍放松，沪军断难存活。米价十余千一石，水陆各营月须六千石。在陈之厄，吾师能代为设法否？”
李鸿章陆续把心目中的正派人士调到上海，就是为了多布棋子，多围真眼，准备对江苏的吏治来一番大扫除。他看准了，要整顿吏治，必须从扳倒吴煦入手；要扳倒吴煦，必须从查账入手。吴煦一直把沪饷的细账捂得死死的，谁也不准看，李鸿章愈发断定里面有鬼。某日夜晚，李鸿章没打招呼，便单人匹马，踏月直赴吴煦道署。吴煦仓促出迎，两人说了几句闲话，李鸿章忽然不经意地问道：“我忝为巡抚，而此间所收税厘确数，尚未周知，听说你有简明计簿，可否借我一看？”
吴煦一时想不出什么托词，只好取出十几本给他看，以为他来做客，一时半会儿也看不了多少。李鸿章翻翻说：“当尚不止此。”吴煦又取出几本，李鸿章又说：“还有。”如是者再三，李鸿章起立说：“此事条目繁重，非今夕所能看完，我将带回去细看。”没等吴煦反应过来，他已从怀中取出一块包袱布，把账簿统统包起来，然后一揖而别。吴煦措手不及，眼睁睁看着李鸿章翻身上马，扬长而去。
捏住了吴煦的账簿，就等于捏住了他的死穴。随后，李鸿章开始弹劾一些失职与贪渎的官员，剪除吴煦的羽翼。
七月九日上谕：“李鸿章奏，甄别道府州县等官，请旨惩办，并勒缴银两等语。常镇道高长绅玩视关务、畏葸无能，升用道候补知府吴云逢迎圆熟、毫无实际，升用道候补知府俞斌藉公肥己、行同市侩，知州衔候补知县闵钊钻营把持、居心猥鄙，均着即行革职。俞斌经办各捐局，声名最劣，获利最厚，并着勒令先缴银二十万两，以助军饷。其余被参各情，仍着李鸿章会同曾国藩查明定拟具奏。华亭县知县何焕纶办事颟顸，娄县知县罗振家颓惰偷安，均属难期振作，着一并以原品休致。”
其中吴云、俞斌都是专为薛焕、吴煦办理厘捐、招抚等事的。把他们清除后，李鸿章调王大经总办牙厘局事，把吴煦的权力夺去大半。他心目中，取代吴煦的最理想人选，就是与他同年进士的郭嵩焘。刚到上海想撤换吴煦时，他第一个想到的就是郭嵩焘。当时他写信给曾国藩说：“当世所识英豪于洋务相近而知政体者，以筠仙（郭嵩焘）为最。”
风评甚差的杨坊，预感到李鸿章不会让他有好日子过，四月间便自请开去苏松粮道缺。李鸿章马上向朝廷保荐郭嵩焘接替杨坊：“苏省吏治凋敝，监司大员，必须有文武干济之才，廉正敦懿之品，为之表率，庶可渐挽颓风。查湖南在籍翰林院编修郭嵩焘常识闳通，志行坚卓……可否仰荷特旨，将郭嵩焘擢授江苏司道实缺，于察吏、整军、筹饷、辑夷各事，均能有所裨助，且与上下游楚军亦易联络。臣前在安庆曾与督臣曾国藩商及，兹因苏松粮道出缺，附片密陈。”
