这种局面让晋出公非常害怕，他怕自己弄不好也被这些臣子给收拾了，于是向齐、鲁两国求援，打算借两国的力量打击四卿的势力。没承想，四卿先发制人，一起出兵攻打晋出公。晋出公兵败出逃，以政治难民的身份投奔到了齐国。
晋出公这一出逃，就给了智伯一个操纵晋国政治的绝好机会。不久之后，他就拥立晋懿公做了国君。
此后，晋国的国家大事基本上都被智伯垄断了，智伯也成为了晋国的老大。于是，吞并另外三卿的计划，就被他提上了议事日程。
可是，就在智伯逐步取得成就的同时，他的弱点也渐渐地暴露了出来。他的性格缺陷主要有两个：一是十分贪婪，而且好大喜功；二是自以为老子天下第一，独断专行，尤其是独揽晋国大权之后，他更是骄横跋扈，不可一世。
有一次，他和韩、魏两家的掌门人攒了一个饭局。饭局本应该是友好往来的场所，但是智伯却在酒宴上把老韩家当家的给戏弄了一番，又侮辱了老韩家的家臣。
由此可见，智伯压根儿不把老韩家当回事儿。他认为韩、魏两家的命运已经完全掌握在了自己的手里。
智氏家族的另一个大夫看到智伯总是大嘴巴一张就敢胡说八道，天天在外面得罪人，就赶紧劝谏他说：“您总这么干可不行，强宗巨卿您都能得罪，搞不好会遭报应的。蚊子、蚂蚁、黄蜂、蝎子这些昆虫都能害人，更何况是对您怀恨在心的人呢？”
但是智伯却把这样的规劝当成耳旁风，照样我行我素，想侮辱谁就侮辱谁，全然不把别人放在眼里，所以树敌也越来越多。在智伯得罪的这些人里，与他结怨最早、最深的，就是赵氏的掌门人赵襄子。
