四月十四日的复谕问道：洋人都是嗜利的，为什么戈登竟不肯收那赏银？是否出于本心？又说：“现在常州攻克，该洋人不言进攻金陵，竟肯先行遣散，免将来许多枝节，实属不可失之机会，该抚自应乘势利导，妥为遣散。如戈登将所部布置妥协，洋弁均皆回国，则是戈登真心要好，始终如一，仅止颁给旗帜功牌，不独无以酬其劳，且恐无以餍其欲。即着李鸿章饬令丁日昌、李恒嵩与戈登妥为办理，一俟办有就绪，即将如何再行褒奖戈登之处，迅速奏闻。”
丁日昌时任苏松太道，他随即与英方展开交涉。英国驻上海领事巴夏礼和赫德都反对即时遣散常胜军，戈登受到他们鼓动，也变得有点犹豫，但丁日昌劝告他：“尔在中国助剿，功成回国，中外传名，不及此时裁撤，将来接统者傥如白齐文之类，闹出事端，岂不为尔声名之累？巴夏礼、赫德系局外人，方以常胜军为十分可靠，故不肯遽裁，尔何不将此军近日不能得力实情，自为剖论，免得自己声名为他人所累。” 戈登被丁日昌的三寸不烂之舌打动，遂下了遣散的决心。
李鸿章据实奏报，五月十一日，朝廷赏戈登穿黄马褂、戴花翎，并授提督章服四袭，以示荣宠。戈登得意地说：“中国人极力阻挠我获得它，但我说或者给我黄马褂，或者什么也别给。他们终于屈服了。”其实，李鸿章并没有阻止，他是乐于满足戈登提出的一切有关荣誉待遇的要求的。
最后的遣散方案，以十二万二千八百英洋作遣散费，再补给月饷六万英洋，四月二十五日全部遣散完毕。留下的炮队六百人、炮三十多门，驻扎于苏州城外浒关，由副将罗荣光管带，并由十一名洋弁目担任教练；洋枪队三百人，驻扎于昆山，由李恒嵩督率巡防。
戈登草拟了一份有关这支炮队的规定，其中要点包括：一、炮兵由中外指挥官联合指挥；二、炮队人数应为六百，未经道台批准不得增加；三、外国军官未经江苏巡抚同意，不能购买武器、弹药和给养；四、外国军官须记住他们受雇于江苏巡抚，要服从他和他任命的中国军官；五、常胜军的基本法规和章程依然有效。
这些规定，显然是为中方着想的，李鸿章对此还算满意。他私下希望这支炮队参加金陵战役，起一个示范作用，但他也知道曾国荃必然会抵触，所以一直在琢磨怎么婉转地向曾国藩提出。四月二十四日，李鸿章写信给曾国藩说：“常胜军竟已遣妥，戈登今年忽变为忠直好人，非鸿章所能革其心面，乃中兴气运使然。顷将炮队收回，留为有用，须一半年操练工夫。” 他说炮队要操练半年，是想试探曾国藩的口气。其实不用试探，曾国荃早已把篱笆扎得严严实实，他防李鸿章比防贼还紧。最后李鸿章不得不放弃。
遣散常胜军之后，戈登写了一份秘密备忘录，其中他对李鸿章的评价是：“李抚台是我遇到的最睿智的满清官员……作为军务改革的倡导者，他是非常困难的，因为他有许多敌人，也因为他在两年前还是相当排外的。”并说李鸿章“每夜研读外国军事著作，在军事知识方面远远胜于其他中国人，而且渴望得到更多知识”。
戈登的观察未必完全正确。李鸿章从来没有明显的排外倾向。至于说他每晚读外国军事著作，则似有溢美之嫌，因为那时翻译的外国军事著作寥寥无几，除非李鸿章翻来覆去读的都是那几本。戈登说李鸿章在遇到麻烦的事情时，常常会找他商量，征求他的意见，这倒是真的。在李鸿章幕府工作过的马格里，曾谈到的另外一个细节，显示了李鸿章对现代知识热心追求的态度——李鸿章经常与他讨论西方的发明、外交事务和一切重要的事情，而且一谈就几个小时。
常胜军解散后，戈登独自坐轮船到江宁外围与曾国荃见面，建议他用常胜军的大炮轰城，虽然曾国荃也是一个洋武器迷，但他视金陵之战为禁脔，谁要走得离他近一点，他都忙不迭拒绝，好像别人是想来分他的家产。他不肯接受戈登的建议，并说他宁愿用湘军的传统方式攻城。
