第3次北伐的失败，给年近花甲的桓温，带来了沉重的打击。早在第2次北伐的时候，他就有了“千斤大牛”的感慨，这一次，他的心态更不一样了，而且因为这时期东晋士族的“草包化”，原先的好朋友相继离开，他在整个士族阶层里越发孤独，这都改变了他自己的观念。早先，他是一个奋青，后来他成为一个为北伐而抛头颅洒热血的将军，但当所有的梦想都成空之后，他自然对自己的人生产生了迷茫，奋斗一生，到如今却两手空空。究竟是什么原因呢?
关于桓温的转变，史料上普遍的说法，是当时他长期把持大权，因此生出了不臣之心。但是从桓温本人的行为看，最主要的原因，恐怕还是已入暮年的他，在回顾自己的一生的时候，发现自己竟然两手空空，就像史料里记录的一样，他经常自言自语说“男人要么流芳百世，要么遗臭万年”。细看这段话的意思：流芳百世，早先一直是桓温的追求，可是3次北伐劳而无功，特别是由于东晋世家大族的阻挠而功亏一篑，最后一场失败，更是断送了他个人往日的战功。这样的局面下，流芳百世自然无从谈起，至于遗臭万年呢，自然是想篡立了。
桓温开始这么做了，促使他下定决心的，是当年在山东金乡，曾经劝说他进兵的亲信希超，桓温先是废掉了当时的东晋皇帝，立了晋简安帝。这时候他虽然威名大减，但手里有当时东晋最强大的军队，做这件事情也就很容易。但是后面的事情就不容易了，此时东晋世家大族当道，这是他夺权的障碍。桓温先是把反对最激烈的殷、虞两族杀掉，然后，他又驻兵在姑苏，用来遥控京城。
就像他之前做的所有事情一样，这一次他又犹豫了，既没有直接废掉东晋皇室，也没有悬崖勒马，究原因，还是因为他自己的观念在作祟，他既想成就大业，同时也顾忌自己的名声，不想背上叛贼的骂名，所以就算改朝换代，也是要取得世家大族支持的。公元372年，桓温拥立的晋简安帝病逝，这又给了桓温篡权的好机会，次年春天，桓温带兵来到京城建康，当时坊间纷纷传言，说桓温要把整个士族全都杀光。其实桓温没有这么残暴，他要的只是世家大族对自己的认可，他可以杀掉殷、虞两个家族，但是对于东晋士族中影响力最大的谢家和王家，还是让其三分，毕竟这两个家族在当时的东晋人脉太广，一旦轻举妄动，很可能招来整个东晋世家大族的打击。所以桓温到了建康后，找到了王家的名士王坦之以及谢家的名士谢安，意图取得两大家族的支持。谢安是个聪明人，比起王坦之面对桓温的军队，吓得脸都白了，谢安却镇定自若，他不卑不亢的态度得到了桓温的敬重，在桓温登基的问题上，谢安假装支持，却故意拖延，迟迟不为桓温主持登基仪式。因为谢安得到消息，这时候的桓温，已经病入膏肓了。公元373年八月，一代枭雄桓温病故，到死，他都没有完成最后一步篡位，流芳百世没有做到，遗臭万年也没有实现。
虽然历史上对桓温争论很多，但关于他的贡献，不管是批评他的人还是称赞他的人，都是认账的。他当政时期，是东晋军事力量的迅速上升期，他在荆州打造出来的军队，后来和北府军一样，成为了在淝水之战抗击苻坚南下的主力。而他个人的能力、功勋，在当时已经日益腐化的士族阶层中，更属于难得的英雄人物。他卓越的战略眼光，持重的用兵特色，也堪当此时东晋的翘楚。桓温去世之后，他的弟弟桓冲接替了他的职务，和谢安同心协力，东晋政权因此出现了团结的局面。这一切，都对之后那场著名的以少胜多战役——淝水之战，产生了非常重要的影响。
不过最后想遗臭万年的桓温做梦也没想到，他的理想被他的儿子实现了。桓温去世32年后，桓温的儿子桓玄发动叛乱，废除了东晋皇室，建立了“楚政权”，当年篡权不成的桓温，被他的儿子追认为“宣武皇帝”，早已作古的桓温，也就因此过了把皇帝瘾。但是过瘾之后，却是他们整个家族的灾难，桓玄后来败给了东晋晚期的新军阀刘裕，桓温全家被划作贼，遭到屠戮。曾经在江南大地举足轻重的桓家，就这么完蛋了。而桓玄的这场变乱，也为他的对手刘裕做了嫁衣裳。寒门出身的刘裕，没有桓温脑袋里这么多条条框框，最后借着战功干净利落地结束了东晋，开始了南北朝时代。
