归来营中，李世民望着尉迟敬德，感叹地说：“刚才众人还说你会叛变，我没有相信，力排众议，将公保了下来，真是天意！哎呀！我今天是虚惊一场，尉迟公真是勇猛无敌的忠义之士啊！”说罢，用力拍了拍敬德的肩膀，并下令重重有赏。
从此之后，尉迟敬德一直追随在李世民身边，几次在危急时刻救了李世民的性命，更立下了赫赫战功。而李世民也十分器重敬德，将他列为凌烟阁二十四功臣中武将之首。
成功的经验使李世民十分看重这批山东豪杰的力量，而失败的教训更是让他记忆深刻。
武德四年（621），李世民自虎牢（今河南荥阳）渡河，一举击溃窦建德。而正等待窦建德救援的王世充也不得不被迫投降，献出东都洛阳。唐朝得以平定最大的两个对立力量，控制山东、河北，统一大业指日可待。
窦建德也属于山东豪杰的其中一支力量，在关东地区有很大的影响。但是与瓦岗军中走来的那一批山东豪杰相比，窦建德一方没有与关陇集团合作的背景，所以一直是李唐王朝的劲敌。当时窦建德虽然一战负于李世民，可是主要力量还在，之所以会投降，很大一部分原因是当时暴隋已亡，人心思定，手下将士都不想再过打打杀杀的日子了。这种时候，如果唐廷能够采取恰当的政策，安抚山东一带，形势是可以很快稳定下来的。
但是唐朝在这一地区重建地方政权的时候，却走上了错误的道路。李渊当时派郑善果和崔民去安抚山东。而崔、卢、李、郑都是山东的高门士族，一来已经渐渐衰落，不了解山东的形势；二来在战争中受到山东豪杰的打击，对他们怀有深刻的仇恨，所以对窦建德集团的原有力量采取了残酷镇压的方式。这样一来，没有几天，窦建德的部下刘黑闼就重新起兵反叛了，山东又是大乱，各地纷纷起来响应。
刘黑闼是贝州漳南（今河北故城东）人，与窦建德同乡。史书记载，他天生就不安分，“无赖，嗜酒，好博弈，不治产业”。与窦建德很有交情，生活困难时得到过窦建德的帮助。隋末动乱中，加入到当地的一支造反的队伍中。后来归于李密。李密被王世充打败以后，刘黑闼被王世充留用为骑将。不久叛王世充，投奔窦建德。窦建德兵败被杀，唐朝严惩窦氏故将，引起窦氏遗存势力的愤慨、河北人民的不满。武德四年（621）七月，刘黑闼、高雅贤等窦氏故将统窦氏余众再起。这支再起的力量竟势如破竹，一路攻城略地。不到半年，就完全恢复了窦建德故地。原来归附了唐朝的隋末割据力量之一、兖州（今山东兖州）人徐圆朗，也在今山东南部和河南东部等地响应刘黑闼，叛唐而起。整个河北山东之地，再次陷入到农民造反的汪洋大海之中。
原来窦建德所统之兵，由隋末河北诸武装力量如孙安祖、高士达、张金称及魏刀儿等部众共同构成。这些兵士在山东群雄中，最为骁勇善战，而且大都为北朝以来民族融合过程中形成的胡化汉人或汉化胡人。他们在政治上自成系统，与唐朝代表的关陇贵族集团格格不入。窦建德被俘后，由于其本人及部下都难于为唐朝所用，所以大都被杀。刘黑闼的再起，与此有关。
武德五年（622）正月，刘黑闼在相州（今河南安阳）自称东汉王，改元天造。唐高祖派李世民、李元吉东来。李世民至获嘉（今河南获嘉），刘黑闼放弃相州，退保州（今河北邯郸东北）。在水一带，刘黑闼与李世民互有攻守，几次反复。
三月，刘黑闼又向唐军多次挑战，李世民坚壁不出，但暗中却派兵断绝刘黑闼的粮道。诚所谓用兵则粮草先行，粮草对于用兵至关重要。
相持六十多天，刘黑闼军粮缺乏，急于决战，于是袭击李世军营。李世民得报，带兵掩击袭兵。之后，刘黑闼率军南渡水与唐军决战。自午时战至日落，刘黑闼自感势不能支，竟弃军逃离战场，与范愿等二百骑逃奔突厥去了。李世民决水，水淹刘黑闼军。
但这一次，唐军只是单纯在军事上获得胜利，并没有真正解决河北问题。两个月之后，刘黑闼又回山东。仅仅四个月时间，刘黑闼又一次尽复故地。
