刘早就听闻宋金刚之名，宋来后刘倾心与宋结交，封了宋金刚为宋王，让宋负责指挥军事，还分了自己的一半家产赠送给宋。这样的荣宠宋自然心中感动，从此对刘死心塌地，为表示忠心，宋甚至主动休掉了自己的妻子，迎娶刘武周的妹妹为妻（所谓婚姻不过是政治工具而已，正如刘备之所说妻子如衣服）。刘、宋二人如鱼得水，其关系之紧密，就仿佛孙策之与周瑜。
宋金刚为刘武周分析局势，认为李渊必定会将刘做下一个进攻目标，与其等李渊做好准备了来进攻，还不如趁李渊准备不足主动出击，拿下李家的老巢太原。正好此时突厥与李渊反目，也支持刘武周进攻唐朝，于是刘武周起倾国之兵于武德二年（619年）六月向唐发起战略进攻，矛头直指太原郡城晋阳。
刘武周有备而来，又有突厥送人送马在背后支持，其战斗力极强，唐的守御部队抵挡不住，丢失多座城池。李渊深为担心，于是派出自己的老朋友头号宠臣裴寂前往应敌。九月，裴寂与宋金刚相遇于介休，介休本是唐地，当时已被宋攻克，裴部就于城外的度索原扎营。宋守城不与裴寂交战，却暗中派人破坏了裴营中的水源，唐军缺水，不得不移营另找水源。宋就趁唐军移营混乱之机发动突袭，唐军猝不及防，几乎全军覆没，主帅裴寂快马加鞭逃得一命。
裴寂的全军覆没使唐朝已无力阻挡刘武周进攻晋阳，当时太原留守是齐王李元吉，李元吉得知刘武周兵临城下后，豪气干云地对部下说，你们领老弱守城，我亲自带精锐出城迎战，随后齐王率领精锐连夜出城——带着自己的妻妾儿女金银财宝——逃回长安去了。被抛弃的将士和人民别无选择，只得主动开城投降了刘武周，太原郡落入刘武周手中。
晋阳是李渊的起义之地，是其苦心经营了多年的地方，一直被视为“兴王之基”，是唐朝仅次于首都长安的重镇。刘武周从发起战略进攻起只用了三个月就攻克了晋阳，这是李渊起兵以来遇到的最大失败，气得李渊直想杀人泄愤（虽然生气也不会杀自己的儿子，是想杀辅佐李元吉的几个大臣）。同时，关西各地的小股反唐势力也纷纷乘机联合刘武周对唐动武，而窦建德、王世充、萧铣、梁师都等各路反王也不约而同对唐发动进攻，一时间李渊内外交困，整个唐朝发生动摇。
面对刘武周的进攻，唐军总指挥裴寂无力反击，不得已之下，下令各地坚壁清野，强令百姓迁入各处城池、坞堡，无法带走的粮食财产一律就地销毁。这一招在战略上是有效的，可以使敌人无法就地获得补给，但它的运用必然导致大量的牺牲，其实是玉石俱焚的惨烈手段。对于老百姓来说，他们并没有义务来支持唐朝对抗刘武周，也没有义务去搞什么坚壁清野，唐军跑来烧了他们的田地、房子、粮食，那唐军就成了他们的敌人。结果裴寂的坚壁清野战术遭到强烈的反抗，不断有老百姓造反投靠刘武周，可以说是起了“化民为贼”的反作用。民变中最大的一股是河东郡夏县的吕崇茂，吕占据夏县自称魏王，裴寂前往讨伐，居然被打得落花流水。
唐军的军事行动多次失利，河东局势一片大乱，李渊在长安为此忧心忡忡，聚集群臣商讨是否该暂时放弃黄河以东，收缩部队以确保关中。按理说李渊不该如此胆小，河东一带是他起家的老巢，如何可以轻言放弃，推测李渊可能是想以退为进，激励群臣自动请缨。于是李世民跳将出来，力陈河东不可弃，愿亲自率部迎战刘武周。李渊准李世民所请，为对付刘武周，唐朝终于打出了王牌。
