一般来说，老大们选择中策者居多，因为中策往往是比较稳妥的。可杨玄感听了以后，反而以为李密的上策乃是下策，下策才是上策，并决意向洛阳进军。
事后，有很多人认为，杨玄感没有采纳上策，是大大的失策。可上策真的是好计吗？一群临时拼凑起来的乌合之众，从黄河岸边千里北上去抄皇帝的后路，光是长途行军、保持士气、解决粮草，就是一项庞大而复杂的工程。打仗，光有点子和勇气是不够的。杨玄感要真脑子一热发兵北上，那才是大脑短路了。
先打洛阳，最起码能解决粮食问题，还能就近拿下一个根据地。
一路上，不堪忍受隋炀帝劳役之苦的百姓纷纷前来投奔，讨伐军未遇任何抵抗就占领了战略要地偃师。留守东都的越王杨侗和民部尚书樊子盖接到杨玄感起兵作乱的消息后，立刻整军备战，只可惜留守的隋军士气低落，在面对“为正义而来”的讨伐军时，五战五败，只能据守洛阳。樊子盖为了坚守洛阳，在城中杀人立威，使得洛阳守军士气为之一振，但这也使很多贵戚子弟不敢进城，掉头去投奔了杨玄感。
不要以为这些贵族子弟是因为正义去投奔杨玄感的。他们所在的高门大族，绝对不会把所有筹码都放到一个篮子里，他们会对当时的各派势力进行了一个评估，然后根据评估结果把族中子弟按照轻重缓急分派到各派势力中，将来总会有某个投靠某派势力的子弟发达，继而就可以保证整个家族的利益。即便某派势力完蛋了，家族也不会因此而伤筋动骨。这些大家族见杨广玩大发了，根基不稳了，便开始了新一轮的政治投资，纷纷把旁支庶出子弟派到杨玄感那里去碰运气。
杨玄感招募流民、收编隋军，每天都有数千人来投，很快就组建起了一支5万余人的大军，分兵攻打洛阳周围各处要塞，并亲率主力进攻洛阳城。洛阳是隋朝的东都，城池高大坚固，城中粮草充足，讨伐军虽然势大，一时间也是无可奈何。
在此期间，讨伐军俘获了内史舍人韦福嗣。杨玄感一如既往地重用这些投奔过来的人，并引为心腹，让他写信劝樊子盖投降。韦福嗣是战败被俘，不得已而屈从，所以做起事情来总是出工不出力。李密看出韦福嗣有二心，就建议杨玄感杀了此人，以绝后患。杨玄感不以为然。
与此同时，留守长安的代王杨侑也派刑部尚书卫文升率4万大军前来救援洛阳。卫文升率军来到华阴后，掘了杨素的坟墓，焚烧了杨素的骸骨，向将士表明以死讨贼的决心，然后击鼓进军，出崤谷、渑池，直奔洛阳。
杨玄感见卫文升率军来援，立刻带着精锐前往迎击。杨玄感勇武过人，善待部下，又每战必冲锋在前，所以讨伐军的战斗力很强。杨玄感先是诈败诱敌，全歼卫文升的前锋部队，然后又率精锐骑兵击败卫文升的主力。卫文升且战且走，所部人马伤亡惨重，只能驻守在北邙山南麓。后来，杨玄感的弟弟杨玄挺中箭而死，讨伐军才放缓了攻势。
