欢迎百姓上城观战的告示发布不久，城墙下人头攒动，几万居民似乎都拥到了街上，发出一阵阵呐喊。太平军听到城内人声鼎沸，不知守军虚实，稍稍退却，抢占民房，构筑掩体，用枪炮向城内射击。江忠源拖着病躯登上城楼，激励将士誓死守城。他写就几纸公文，叫来通信兵，令他们飞马分头送往六安、东关和凤阳，请各地火速派兵来援。
江忠源发现，水西门城墙太矮，城外的坡垄偏偏最高，太平军在坡上扎营，可以俯瞰城内，所以此处最为危险。江忠源说：“我就驻扎在这里，我要亲眼看到城墙加高培厚。”
巡查结果表明，大西门也是一个隐患。这里民房逼近城根，城外又无壕沟，太平军一到，就在该处开挖地道。江忠源派令楚勇悍将驻守，雇觅民夫，从内朝外迎挖。
江忠源在水西门现场办公，当即给其余各门委派守将，要求文武官员一律驻扎城上，分头守卫关键之处。庐州城墙三十六里，共有四千五百七十多个城垛，可是守军只有三千三百人，就算一人守一个城垛，兵力还是不够。而且部队多为刚刚招募的乡勇，不懂守城规矩。江忠源将他带来的几百名老兵分布在各个城门，他手边并无一支劲旅。好在城内的绅民给巡抚送来了温暖。他们见江忠源带病登城部署防御，出于感激，家家出丁助守，而且自动设立后勤局，分头送茶送饭送粥，昼夜不断。部队无须开伙，可以专意守垛。
江忠源调动了庐州百姓守城的积极性，太平军也在城内安插了不少内应，衙役和乡勇当中都有他们的人，秘密破坏社会秩序，造谣生事，动摇军心民心。庐州城内暗流汹涌，令新任巡抚防不胜防。他感觉到知府衙门有鬼，对胡元炜已经起了杀意，只是还没找到机会下手。
江忠源鉴于兵力严重不足，再次上疏向朝廷求援。咸丰接到奏报后，情急之下，严催陕甘总督舒兴阿率部驰救庐州，令已到徐州的和春向庐州开拔，还叫吴文镕速派戴文兰赴皖。曾国藩率领六千名楚勇，乘坐炮船去增援江忠源，仍是咸丰最大的指望。
然而曾国藩再次改变了主意。他原本打算增募六千名步兵交给江忠源统带，但他忽然接到筹备水师的旨意，扩展了原定计划，决定建立一支以水师为主的万人大军，由他亲自率领，大举东征。江忠源从庐州发来求援信，语气非常迫切，曾国藩却未给他大发援兵，只是跟湖南巡抚骆秉章商议，决定派江忠源的大弟弟江忠浚率领一千名新宁勇增援庐州，曾国藩自己则留在湖南抓紧经营战舰。江忠源急盼的援兵因此大打折扣。
江忠源在庐州的最大隐患，仍然是太平军的地雷。胡以晃初到庐州时，就曾下令在大西门开挖地道，江忠源令负责驻守该门的邹汉勋从内迎掘，排除了此处的险情。胡以晃并不死心，又在大东门这边掘地施工。江忠源侦知以后，悬赏重金，募得两百多名敢死队员，趁夜从月城以南挖道而出，偷袭敌道。一名太平军将领刚把秃头从洞口伸出窥探，被守军挥刀斩下，秃顶的头颅应刀落地。守军朝地道内连掷火罐。只听得一阵惨叫后，地道内没了声息。事后清点，地道内共有四十七具烧焦的尸体。
守军捣毁大东门的地道时，刘长佑和江忠信的楚勇援军开到了庐州西南面的四十里铺。总兵玉山的部队也从店埠开到庐州。江忠源盼望援兵，心急如焚，掐着指头推算日子。他一早就登上水西门，遥见远处红蓝旗帜招展，知道是音德布带兵从六安来援，连忙向全城报喜。消息传开，军民欢呼雀跃，纷纷要求出城助战。江忠源派出几百人下城接应，却被太平军拼死拦阻，无法与援兵会师。过了一阵，瞭望哨报告：红旗直朝西面远去了。原来，城外的援兵都因部署不周而受挫，让城内军民空喜一场。
为了配合城外援兵，江忠源决定驱赶得胜门外的敌军。他派六安勇缒城而下，傍城扎营。营盘刚刚建成，几千名太平军蜂拥而至，六安勇在营内开火，城上守军用火力支援。太平军虽然凶悍，却无法靠近城墙。江忠源令楚勇为骨干，从大西门去接应六安勇。三路官军发起反攻，太平军抵挡不住，大败逃奔。守军正午收队入城，楚勇和六安勇撤回大西门，不料太平军引爆地雷，轰倒大西门月城十丈六尺。太平军蜂拥而上，邹汉勋身先士卒，率部奋力阻击，将太平军击退。官军追出缺口，拦住敌军，用沙袋和石块抢修缺口，堆积到五六尺之高，才令城外官军撤回城内。
