在直皖战争失败后，段祺瑞虽说已经吃斋念佛，但他并没有真正看破红尘，做到四大皆空。每次有学生、旧部、朋友来拜见他，说起国内战火纷飞、人民流离失所的时候，老段总是板着脸，一言不发。唯独他们说到“要收拾局面，非老师东山再起不可”之时，老段一贯冷若冰霜的脸上，才会多少露出点欣慰的笑容。这老段！
时隔四年后（1924年），老段再次出山任*临时执政，重新回到了政坛。和从前一样，老段仍旧是上午办公，下午下棋或者赋诗，晚上打牌，唯独与之前不同的是，老段增加了一个内容，那就是早上必到公馆中专门的佛堂去诵经。
一年半后，在执政府门口发生了震惊中外的“三一八”惨案，段祺瑞闻讯后赶到血案现场，曾长跪不起，为死者超度。不久，老段再次下野，从此彻底远离了纷繁多变的政治漩涡而只在家中吃斋念佛，或者下下棋、写写字，不再过问世事。
1931年“九一八”事变后，日本人又把侵略的魔爪伸向了华北，并试图拉拢段祺瑞出来充当代理人。为防止段祺瑞为日本人所用，蒋介石在1933年1月21日派人将段祺瑞从天津接到南京。在浦口乘船过长江的时候，蒋介石率一批高级将领亲自前来迎接并执弟子礼（蒋介石留学日本士官学校前系北洋速成武备学堂统一送出，当时段为学堂督办）。随后，段祺瑞便定居在上海。
1936年11月2日，段祺瑞因胃溃疡引发大出血而去世，享年72岁。段祺瑞的病，据说与其常年吃素、营养不良有关，但之前医生和亲友建议他进点荤食以提高抵抗力时，段祺瑞坚决拒绝并表示：“人可死，荤不可开！”
老段在信佛之后，除了自己养几只母鸡下蛋供应外，荤食一概不碰。有趣的是，老段只养了几只母鸡，而没有公鸡，因为他认为这样下的蛋才是“素鸡蛋”，是可以吃的。后来他年老后身体虚弱，但仍旧不肯开荤，也足见其性格之倔强。
临终前，段祺瑞曾写下亲笔遗嘱，谆谆告诫后人：“国虽危弱，必有复兴之望。复兴之道亦至简单，勿因我见而轻起政争，勿信过激之说而自摇邦本。讲外交者勿弃固有之礼教，求学者勿骛时尚之纷华。所谓自力更生者在此，转弱为强者亦在此矣。”
由于段祺瑞生前信佛，其葬礼也是照他的遗嘱以居士礼简葬。在各界名流的吊唁中，有几副挽联特别显眼，一副是冯玉祥的：“白发乡人空余涕泪，黄花晚节尚想功勋”；另一幅是吴佩孚的长联：
天下无公，正未知几人称帝，几人称王，奠国著奇功，大好河山归再造；
时局至此，皆误在今日不和，明日不战，忧民成痼疾，中流砥柱失元勋。
段祺瑞死后，由于其长子段宏业坚持要将其灵柩送往北京安葬，但因为日本侵华导致的时局变动，以至于十多年都无法找到合适的下葬地，最后只能草草葬在段祺瑞三弟之前买好的坟地，位置就在人来人往的大道旁边。对此，段祺瑞的一些生前故旧忍不住叹息：“想不到老头子轰轰烈烈一辈子，死后竟然没有一块葬身的地方！”
直到1963年，在其生前好友章士钊、李思浩、曾毓隽等人的努力下，才最终将段祺瑞的遗骨起出，并重新安葬在北京西郊香山附近的万安公墓中。
“天下无公，正未知几人称帝，几人称王；时局至此，皆误在今日不和，明日不战”，吴佩孚的这幅挽联何曾不是两人共同的写照？
