钟离是元英一生抹不去的阴影，也是北魏对南朝作战以来从未有过的耻辱，河北精锐，损失大半。梁武帝在建康城大赏群臣，北魏朝中则哀声一片。元英用兵失算，萧宝夤支援不力，死罪赦免，活罪难饶，被双双免官为民；只有杨大眼稍稍幸运，贬到偏远的营州（治所在和龙，今辽宁朝阳），充当兵卒。
元英在家只待了一年，宣武帝元恪就恢复了他的封邑，还了他的官位，代理征东将军之职。这是因为京兆王元愉造反，宣武帝环顾朝野，发现他才是负责讨逆最适合的人选。
宣武帝一朝，困扰最多的是宗室问题。宣武帝靠着兄长的意外被废，才得以坐上皇帝的宝座，他对于与自己同姓的宗室，潜意识里保持着警戒的态度。叔叔元禧的无故造反，对于他的心理打击是巨大的。元禧死后，他把政事更多地交给了高肇来处理。
论血缘和感情，宣武帝与高肇之间的确亲。高肇的妹妹是宣武帝的亲生母亲，他的侄女，则是宣武帝后宫宠爱的贵嫔。不久后，高肇又娶了宣武帝的姑姑，也就是孝文帝的妹妹高平公主。与皇帝有这三层关系相连，朝廷上下，谁敢不对国舅爷敬畏三分？
然而高肇本人，却很缺乏安全感。他在朝中时日短，根基浅，更谈不上功勋和学识，要想在政坛上生存，就得拉帮结派，培养势力。
上面的人有心结交朋党，下面的人有心攀龙附凤，这是典型的供求搭配合理的经营模式。日久天长，投靠高肇的人多了，他的胆子也跟着大起来了。对于异己，尤其是皇帝身边的亲信，散骑常侍赵修、冠军将军茹皓等人，他想方设法要置之于死地。
北魏迁都汉化，全盘搬用汉人的政治体制，文化上大有长进（比如儒学），腐化程度也大有长进。想要挑出几位没毛病的官员，还真不那么容易。高肇四处搜集赵修、茹皓的罪状，成果颇丰。他于景明四年（公元503年）和正始元年（公元504年）向宣武帝亮出手中掌握的证据，将两位不可一世的人物给扳倒。
赵修仗势骄恣，茹皓弄权纳贿，朝野共愤，死得并不冤枉。可告他们的高肇又何尝是什么好东西。为了保证弄死“眼中钉”茹皓，他不惜诬告，说茹皓伙同其他几名皇帝亲信，密谋拥立北海王元详作乱。
把皇叔元详牵扯进来，是高肇扫除异己行动的一部分。六辅失权时，只有元详不降反升，位在高肇之上，又与茹皓等人往来密切，高肇嫉恨已久。这一招，是高肇的杀手锏。
高肇的证据并不充分（本来就是，元详虽和元禧一样，是个贪横无耻的亲王，欺男霸女的事干了不少，但并没有想过自己当皇帝。无中生有，实在有点难为我们的高国舅了），但在宣武帝面前正好对路——叔叔兄弟抢皇位，是他最怕的事。他召中尉崔亮入内朝，弹劾元详“贪淫奢纵”，又以“怙权贪横”的罪名，赐死茹皓等人。
至于元详，宣武帝不想杀他，名义上下诏免他死罪，废为庶民，暗地里把他软禁了起来。半个多月后，他的家奴想救他外逃，事情败露，他终究被秘密杀害了（很可能也有高肇的授意）。
黑吃黑的结果，高肇连胜两局。他的气焰愈加嚣张，将魔爪伸向了后宫，支持侄女高贵嫔抢班夺权。正始四年（公元507年），皇后于氏莫名其妙地去世，人们传说是高氏下的毒手。
于氏生有一个皇子，名叫元昌，当时是宣武帝唯一的儿子，才三岁，高肇和高贵嫔当然不能放过这个将来可能登上太子之位的小孩。乘着元昌突患急病，高肇私下贿赂侍御师王显，让他有意延误治疗措施，不出几天，元昌就夭折了。
