不签字，中国可能丧失更多权益；签字，则沦为卖国贼。尽管徐世昌没有被推到风口浪尖，但他仍然感到了作为民国大总统的无奈——究竟是时局使然，还是自己能力不足，徐世昌越来越搞不清楚。
不久之后，受美、英支持的直系军阀与奉系军阀矛盾激化，双方为了夺取北京政权爆发了两次大规模的战争，最后以直系军阀获胜、两派议和结束。让徐世昌感到悲哀的是，当初自己在冯、段之争中被推上中华民国大总统的位置，今天，当直系曹锟、吴佩孚控制北京政府之后，自己又被指责“不合法”。1922年5月，各方呼吁徐世昌辞去大总统职位，31日，六十八岁的徐世昌通电全国，表示愿意束身退位，结束了自己五年的大总统生涯。
尽管对大总统之位仍有些许眷恋，但对文人徐世昌来说，辞去大总统之职更多的是解脱。去职之后，徐世昌搬到天津租界居住，不再参与政治，著书立说，吟诗作画，真正过上了“大隐隐于市”的生活。
徐世昌一生著作等身。他将自己从政以来的奏议、说贴、条议、电文等分类归纳，编辑成《退耕堂政书》五十五卷，是晚清到民国初期极具价值的文献资料。除此之外，他还根据自己的经验编纂《东三省政略》、《欧战后之中国》、《大清琨辅先哲传》、《书髓楼藏书目》等书，“隐居”之后，在僚友门客们的协助下编纂书籍二十余种。
除了著书立说，徐世昌在诗词、作画方面也有很高的造诣。他作诗以明志，有《徐大总统诗集》十二卷，还将自己的诗、书、画作编纂成册，有《归云楼题画诗》六卷、《归云楼集》十六卷、《退园题画诗》十六卷、《葵园诗草》四卷、《海西草堂集》二十四卷、《海西草堂题画诗》六卷、《拣珠录》二册，这些诗画具有较高的艺术水平，徐世昌的为人、修养也在其中展现得淋漓尽致。
隐居后的徐世昌并非两耳不闻窗外事，而是一直关注时局变化。1931年九一八事变后，徐世昌对政治的关注更加密切。当他听说西安事变蒋介石同意停止内战、一致对外后，曾不无担忧地表示蒋介石“可能只是权宜之计，过后未必算数”。1937年，天津沦陷，这年冬天，徐世昌曾经的得意门生金梁、章祲突然造访，劝说徐世昌出山和日本定立“亲善条约”，遭到徐的痛斥。第二年春，日本大特务土肥原贤二企图约见徐世昌，再次遭到拒绝。1938年冬，徐世昌膀胱癌病重，医生提议让徐转到北京医院进行手术，徐担心路上遭日本人暗算，没有答应，第二年6月，八十四岁的徐世昌在忧愤中离世，遵照他的要求，子女们把他安葬在辉县老家，仅竖碑为记。
