瓦岗军最早的领导人是翟让，他是隋朝的一个下层官僚，犯罪当斩，后来逃了出来，干起了占山为王的勾当。因为最早就是在河南滑县瓦岗为盗，所以称为瓦岗军。当时，徐世、单雄信都是他的部下，成员也多是齐鲁间的中小地主和自耕农民，英勇善战。
以翟让、徐世等人为首的瓦岗军可以说是山东豪杰的一个代表和缩影。而山东豪杰，就是一胡汉杂糅、善战斗、务农业而有组织之集团，他们活动在山东的广大地盘上。当时所称的山东，指的是太行山以东地区而言，大约包括今河北省大部，山东省全部及河南省北部。这一地区原来的士族已经渐渐衰落，新兴的“豪杰”才代表着当时的社会力量。正因为如此，他们是政治上各敌对集团争取的对象。李密和后来成为唐朝圣君的李世民都注意到了这一点。但二人为何一败一胜，这又是后话。
先说瓦岗军在翟让领导时期并没有很大的发展，直到李密加入。
李密原是关陇贵族，是西魏北周最高统治集团核心成员八大柱国之一李弼的曾孙，袭爵蒲山公。所以，李密与翟让这批山东豪杰不属于一个阵营，而与李渊父子一样是关陇集团的成员。
山东豪杰与关陇集团，是当时最有活力的两大社会力量。两派之间由于历史原因存在种种矛盾，可是反隋的目标却是一致的。大业九年（613），杨玄感起兵，应者如云，李密也身在其中，并且深得玄感的赏识。杨玄感虽是关陇集团的成员，但他的这次起兵却吸收了很多山东豪杰方面的力量，开启了两大集团合作的先河。虽说杨玄感的起兵后来失败了，但影响十分深远，首先受益的可以说就是李密。
李密由于参加杨玄感起兵，一直为隋朝官府追捕，过了一段颠沛流离的生活。直到大业十二年（616），在王伯当的引见下，李密才投入到瓦岗军中。
当时的瓦岗军只是聚众为盗，并没有长远的发展规划。李密以独特的政治眼光，提出了“诛灭暴隋”这一夺取政权的目标，并且带领部下袭取了兴洛仓，获得了充足的粮草，实力大增。他自己也取得了起义军领导人的位置，号为魏公。
李密之所以能够获得瓦岗军的接受，并且在很短的时间内取得领导人的位置，一是因为他具有非凡的战略眼光，比翟让看得更长远；二则是由于瓦岗这批山东豪杰中的一些人曾参加过杨玄感的起兵，他们有与关陇集团成员合作的基础，愿意跟从李密。可以说，瓦岗军得了李密，如虎添翼；李密加入瓦岗军，更是有了一个施展自己抱负的舞台。所谓时势机缘，自古英雄成事，莫不如此。
话说瓦岗军在李密的领导下迅猛发展，一路打到了隋东都洛阳城下。裴仁基、柴孝和等率大批隋军投降，这大大增强了李密在瓦岗军中的实力。大业十三年（617），李密使祖君彦作《移郡县书》，列举了隋炀帝十大罪状，并明确提出了推翻隋王朝、建立新王朝的号召。
从当时的情况看，李密是有可能完成这一任务的。毕竟他有着关陇军事贵族集团的家族背景，在当时社会条件下具有相当的号召力。而他又统率着最具实力的反隋武装，在关东地区打下了建立全国性统一政权的基础。
可是如何去完成建立新的统一王朝的历史任务呢？柴孝和曾向李密建议，仿效当年汉高祖刘邦，先取关中再定天下。其实这也是当年李密对杨玄感曾经提出的建议，他当然明白这是上策。不过他却流露出了与杨玄感一样的顾虑，其中一些告诉了柴孝和：“你说的自然是最好的计策。但是现在隋主还在，隋朝仍有不少兵力；我瓦岗的部下则多是山东人，洛阳没有打下，谁肯跟我西取长安？而且诸将大部分原先都起自草莽，我入关西走，他们定会互相攻击。要是这样，大事就难成了啊！”
李密的考虑不是没有道理的。如他所说，一来隋军在洛阳和江都还有不少兵力，而入关道路艰险，若冒险西进，很可能会腹背受敌；二来他所领导的瓦岗军很多是山东人，不愿离乡西去。加上李密本来就与翟让等人不属于同一政治集团，矛盾只是暂时隐下，李密恐怕自己一走，翟让实力雄厚，自己就再无回头之路了，故不敢入关。除了这些，还有一点是李密没有明说的，即李密感到入关后缺少必要的支持力量。因为李密的家族虽然曾是关陇贵族集团的核心成员，但至此时实际已经有所衰落，他在关中既没有那么多社会关系，更没有什么实际的势力。这点，李渊父子与他有着根本的不同。
