南薰门事件之后，他与张、王分手，领军剽掠至泗州（今江苏盱眙），提出要重新归附南宋朝廷，赵构就起用他做泗州的知州。
在泗州，这位仁兄听信了妖道陶子思的话，认为自己“有割据之相”，叛乱为寇，悍然起兵攻打滁州，把滁州的州县官员全部杀害。
此外，王善、张用等人陆续向金军投降，淮河以南的形势不容乐观。
杜充吓坏了，闭门不出，躺在床上，装病。
岳飞忍无可忍，一头闯入他的寝室，指责道：“胡虏近在淮南，窥视长江，大战一触即发，你只管躲在家里，闭门不出，算怎么回事？你必须出去，抓紧备战，否则金陵失守，大势去矣。”（“勍虏大敌，近在淮南，睥睨长江，包藏不浅。卧薪之势，莫甚于此时，而相公乃终日宴居，不省兵事。万一敌人窥吾之怠，而举兵乘之，相公既不躬共事，能保诸将之用命乎？诸将既不用命，金陵失守，相公能复高枕于此乎？虽飞以孤军效命，亦无补于国家矣！”）
这样一番话，换第二个人说，早被拉出去放血了，可出自岳飞之口，俨然有一种不容辩驳的威严，杜充立刻在气势上矮了一头，又加上岳飞是他唯一可以倚仗的得力大将，不好发作，只能敷衍道：“明天，明天，明天可以不？明天我就到江边修建军事设施。”回头，杜充将家仆狠狠尅了一顿，命人加强把守自己的府第，严禁寻常人等出入。
第二天他就把这个胆敢闯自己寝室的小老乡发配到统制官王燮的帐下，安排他跟王燮去滁州（今安徽滁州市）攻打李成去了。此后，再无下文。
王燮久闻李成凶悍之名，一路磨磨蹭蹭，勉强到了瓦梁路，徘徊不前。
倒是岳飞进军神速，从宣化镇（今南京东北江滨）渡江，长驱直入，接连在真州六合县（今江苏六合县）、盘城、长芦将李成打得落花流水，胜利收复了滁州。
