他在洛阳城下耗了一个多月，不但一无所获，而且损兵折将。这种长时间的攻坚战是造反初期用兵的大忌。因为这时候的兵员刚组建在一起，必须要以不断的胜利树立队伍的信心和希望。好几万人四十天都打不下一座城，严重挫伤了军队士气。和杨玄感不同，四年后，李渊在太原起兵，就是靠速战速决，一鼓作气拿下霍邑、临汾等地而直达长安的。
杨玄感从六月初三起事到八月初一兵败，总共还不到两个月，大部分时间都在洛阳城下埋头苦干了。在这几十天时间里，时况急转直下，杨玄感的形势和当年的项羽差不多：四面楚歌。
杨广在辽东得知杨玄感叛乱的消息后，立刻回国，同时派出四路大军围剿杨玄感。一路由大将陈棱率领，进攻元务本驻守的杨军大本营黎阳，另外两路分别由大将宇文述、屈突通率领，从两个不同的方向杀向洛阳。而被杨玄感扣了屎盆子的另一东征名将来护儿得到杨玄感围攻洛阳的消息后，正率兵航行在东莱（今山东莱州）向平壤进攻的海面上。他立即命令大军掉转航向，回救洛阳，而他手下的将领们认为没有皇帝的命令，不能擅自撤军，拒绝回航。来护儿这时候显示出一种无上霸气，他黑着脸厉声说道：“洛阳被包围，是国家的心腹之患，而高丽的抗拒王命，不过是无关紧要的小事（说得真有水平，杨广咋就不知道“抗拒王命”是无足挂齿的小事呢？）。如果皇上怪罪下来，我一人承担全部罪名，不关别人。有再敢阻挡回师之人一律军法从事！”
来护儿真是不可多得的一代名将，有思想、有谋略、有眼光、有个性，只可惜生不逢时。五年后，一代庸才宇文化及江都兵变后，因忌惮他的勇武而将他杀害。
在回师的同时，来护儿还命令儿子来弘、来整火速驰奏炀帝，说明自己擅自回军之事。炀帝当时已经回到涿郡，让来护儿救援东都的命令已经差人送出。他见到奏报，非常高兴，在给来护儿的回信中夸来护儿和自己“君臣意合，远同符契”。
在洛阳被围之始，主持西京长安全面工作的杨侑就派刑部尚书卫文升率兵四万援救东都。这个隋朝公安部长经过杨玄感的祖籍华阴的时候，干了一票掘墓的活儿，他命令士兵挖开了杨玄感老爸杨素的坟墓。这可不是为了破案需要来检验DNA的，而是将出土的骸骨付之一炬，想借此表明自己平叛的决心。
挖人家的祖坟的行为过于龌龊且有违人伦，但古代人好像特别偏好这个，动不动就挖坟焚骨鞭尸。其实这种行为不但起不到正面激励作用，反而让受害一方更加义愤填膺、同仇敌忾。卫文升就是很好的例子。他装备精良的四万正规军和一穷二白的杨军在洛阳外围和杨玄感进行了大小数十次战斗，竟然屡战屡败，损失惨重。
第一次作战时，杨玄感先将部队埋伏在山坡树林里，然后带着一队人马假装害怕地落荒而逃，卫文升率军贴身紧追，不料伏兵突然漫山遍野杀出，哪些身体素质好的，跑在前面的积极分子全部成了刀下之鬼。几天后，双方再战，这次杨玄感换了一招，两军打了一小会，他就让部下大喊：“杨玄感已被抓住了！”这可是名副其实的“贼喊捉贼”啊。官军一听：“贼首都被抓住了，还打个什么劲呀，该歇歇了！”就这么稍一松劲，杨玄感带领好几千早有准备的骑兵冲杀过来，在官军阵中砍瓜切菜一般。杨玄感这个人虽然智商不高，但“体貌雄伟、美须髯”，不但是一帅哥，而且骁勇异常，单兵作战能力超强，每次上阵都身先士卒，挥动刀矛，所向披靡，很有些项羽遗风。
就这样前杀杀后杀杀，左杀杀右杀杀，在另外三路援军到来之前，卫文升的四万正规军就被杨玄感的游击队PK掉了一大半。隋军这次洛阳救援战中，卫文升惟一的功劳就是在邙山决战中，击毙了杨玄感的弟弟杨玄挺，这对杨军来说相当于失去了一个优秀的方面军司令，是比较致命的打击。弟弟战死后，杨玄感独木难撑，才不得不考虑收缩战线。
对杨玄感来说，卫文升并不可怕，最可怕的是宇文述、屈突通和来护儿。用一句民间土话形容，三个人都是“吃狠人屎”长大的，狠得不行，打起仗来，脑袋别在裤腰带上，逮谁砍谁。这三个方面军是隋朝的绝对主力，士兵大都身经百战，上战场打仗就跟到菜市场买蛋一样平常。
