在袁世凯的不断保荐下，徐世昌在仕途上也是平步青云，先后出任练兵处提调、兵部侍郎、军机大臣、民政部尚书等要职。1907年的时候，徐世昌出任东三省总督并兼管三省将军事务，成为名重一时的封疆大吏。两年后，徐世昌回京再任邮传部尚书、军机大臣、协理大臣等要职，而此时袁世凯已经被罢回乡，北洋系的势力实际上都是由徐世昌在暗中维持。在武昌起义后，袁世凯出山也是靠徐世昌的坚持举荐下才得以成行。
在袁世凯当上民国大总统后，徐世昌作为他多年的至交好友，按理应该飞黄腾达，而当时袁世凯也是有意要让他出任国务总理一职的，但出人意料的是，徐世昌却和王士珍一样，退隐到青岛做寓公去了。
原来，徐世昌自认为曾受清廷厚恩，清帝退位时尚兼任太保，如果接受袁世凯的委任，难免遭到封建士大夫们的“一时之谤”。另外，徐世昌也考虑到民国初年局势不稳，与其去冒风险，倒不如闲居两年，看看风头再说，同时还可以赚个“不负皇恩”的好名声。
1914年，袁世凯在*“二月革命”后，再次请徐世昌出山任国务卿之职，这时徐世昌动心了，正当他要登上火车的时候，其弟徐世光抱住他的腿痛哭：“大哥啊，难道你忘了清室对你的皇恩浩荡吗？你前年还亲口说过‘不忘清室’，言犹在耳，怎能当成耳边风？当年议和之时，你曲从袁谋，已为人所议；如今再为袁世凯效力，将来有何面目见先帝于九泉之下？”
徐世昌听后，也忍不住与弟弟抱头痛哭。但是，他最后还是耐不住寂寞，不甘心就此沉沦，终老林下，后来还是入京当上了袁世凯的国务卿，并一度参与了洪宪帝制的活动。袁世凯死后，徐世昌在负责处理完老朋友的丧事后，再度退隐。
倒是张勋复辟的时候，徐世昌一度有点想法。当张勋前来拉拢他的时候，徐世昌提出一个条件——让自己的女儿婚配溥仪。“女儿做皇后，自己做国丈”——张勋和一帮子遗老遗少听说后，立刻跳脚大骂徐世昌是个“活曹操”（曹操曾经逼汉献帝立自己女儿为皇后），竟然狮子大开口，要价比他们那些干实事的人还要高！于是，双方的合作没有成功，而张勋的复辟也很快就失败了。
徐世昌为官多年，加上仕途颇为坎坷，因此他对做官深有体会。后来，徐世昌将他的为官之道总结为四点：一是说话要圆滑，模棱两可才主动；二是遇事要沉稳，不要急于表态；三是要以静制动，后发制人，看出对方破绽再出手；四是反应要机警，时候未到要心平气和，时候一到要迅速抓住机会。
冯国璋下台后，徐世昌凭着纯熟的为官之道游走于各派军阀势力间，竟然也能维持总统之位不倒达三年之久，这在民国史上，仅次于袁世凯的在任时间。在被曹锟、吴佩孚逼下台之后，徐世昌返回天津做寓公，开始过诗文“隐逸”生活，而且老有所为，颇有成就。他的诗，人称“超越前人”，书、画也堪称精品，但不轻易送人，因而流传不多。
1939年6月6日，徐世昌于天津病逝，享年85岁，是北洋系中是相当高寿的。
