李鸿章对日战争的失败，使清政府极不满意，光绪帝决定给予他革职留任的处分，并裭夺其黄马褂。随着威海卫战败、辽阳战败，清政府非常担心北京失守，于是清政府派出多人去和日本谈判，但是均被驱回，日本方面暗示说，只有让李鸿章来才可以。
1895年2月13日，朝廷命令李鸿章为头等议和全权大使，取消处分赏还黄马褂，让他火速来京议事。李鸿章知道事关重大，接到命令之后，急急赶往北京。李鸿章无法做到让自己置身于事外，高高挂起。此时的李鸿章只有一个念头，只要大清帝国需要，就要为大清帝国赴汤蹈火，在所不辞。此刻，自诩为泱泱大国的清朝，似乎除了李鸿章就没有第二个人能担当起这样的使命。事实上，恐怕也没有第二个人肯去担当这样的使命了。李鸿章在心里已经做了最坏的准备，在和朝廷谈话时，表示自己无法担当割地这样的责任。最后朝廷给予他全权处理的权力。
1895年3月20日午后2时半，李鸿章与李经方和美国顾问科士达一行到达马关，登上春帆楼。春帆楼上放着一张长方形会议桌，旁边摆放着10多把椅子。日方还特别在李鸿章的座位边安置了一只痰盂，大约是有意无意地提醒着大家，这位清国全权大臣已值暮年，垂垂老矣。伊藤博文为谈判颁布了4条规定：一是除谈判人员外，任何人不得进入会场；二是各报报道必须要经新闻检查后方可付梓；三是除官厅外，任何人不得携带武器；四是旅客出入，均必须由官厅稽查。此外，伊藤博文还特别宣布：清政府议和专使的密码密电，均可拍发，公私函牍概不检查。从表面看上去，好像日本人对李鸿章和清国使团非常客气，其实，日本人已成功破译清廷的密码，而且，在谈判过程中甚至了解到清国使团此次来日本的赔款底线是2万万两白银，因此早就成竹在胸。
3月21日，在与李鸿章的首次谈判中，伊藤博文向李鸿章提出的停战条件是：日军占领大沽、天津、山海关一线所有城池和堡垒，驻扎在上述地区的清朝军队要将一切军需用品交与日本军队；天津至山海关的铁路由日本军官管理；停战期间日本军队一切驻扎费用开支由清政府负担等等。伊藤博文明白，山海关、天津一线如果被日军占领，将直接危及北京安全。这个停战条件是清政府万万不会答应的。如果这一停战条件被清政府驳回，日本正好就此再战。尤其狡猾的是，伊藤博文此时隐藏了日军正向台湾开进的事实，企图在日军占领台湾既成事实后，再逼李鸿章就范。
春帆楼上，中日两国代表唇枪舌剑，谈判僵持不下。恰在此时，一桩突发事件改变了谈判的进程。在马关的春帆楼上，李鸿章与日本全权代表伊藤博文和陆奥宗光开始谈判。经过三次谈判之后，李鸿章感觉身心憔悴。因为耗费这么多天的精力，居然没有什么任何意料中的进展。然而，意外却不期而至——这天，同以前一样，李鸿章无奈地走出春帆楼，即将到达所住的行馆时，忽然，一个年轻的男子从人群中冲了出来，随即以手枪向李鸿章射击，子弹击中了李鸿章的左颊。周围自然是一片慌乱。原来，此人名叫小山，是一个极端的日本侵华分子。他希望中日战争一直打下去，不愿意和中国议和，所以决定刺杀李鸿章。李鸿章被刺，昏厥过去。随行的西医马上采取急救措施。李鸿章醒来之后，表现得很镇静。李鸿章看着衣服被血染红，长叹一声说，“此血可以报国矣”。由于子弹卡在他左眼下的骨头缝里，没有医生敢在这个位置下手术刀，李鸿章给朝廷的电报只有六个字：“伤处疼，弹难出。”
李鸿章遇刺之后，国际舆论哗然，纷纷谴责日本。日本害怕列强干涉，只得宣布无条件休战。日本本来想见好就收漫天要价，结果行刺事件的发生使得日本的计划被破坏。伊藤博文惋惜地说：此次事件的严重性，超过在战场上一两个师团的溃败。日本天皇和皇后分别派出御医和护士，让他们好生给李鸿章治疗。伊藤博文也以私人身份前去探望。顺便说一下，李鸿章和伊藤博文二人，在人生经历上有很多相似之处，其中更为巧合的是两个人都曾经遇刺。虽然发生了遇刺事件，李鸿章还得坚持谈判。面对日本人割让辽东、台湾、澎湖，赔款军费3亿两白银的漫天要价，李鸿章实在难以认可。清政府在给李鸿章的电报中，均是模棱两可的“着鸿章酌量办理”。
4月10日，李鸿章伤势稍好转之后，中日双方又就甲午战争展开第五次谈判。中国的和约修正案送达日方。由于李鸿章的伤势渐愈，亲自参加了会议。陆奥宗光因病未能出席。中方出席人员有李鸿章、李经方、伍廷芳、马建忠、罗丰禄。日方出席人员有伊藤博文、伊东巳代治、井上胜之助、中田敬义、陆奥广吉、楢（yǒu）原陈政。
在最后签字的前一天下午，日方的要求极其苛刻。只允许中方回答“允”或者“不允”，李鸿章没有丝毫讨价还价的余地。李鸿章一直磨到天黑，希望能够再减少两千万两，最后，甚至含泪请求伊藤博文说，就算给我这个老头子回家的旅费吧。伊藤博文根本不予理会。晚上，伊藤博文还威胁李经方说，如果明天你们还不签字的话，你们这些代表能否安全回家，我怕都不能真正保证了。1895年4月17日，李鸿章与日本代表签订了丧权辱国的中日《马关条约》。条约规定：清政府承认朝鲜“独立自主”；割辽东半岛、台湾、澎湖列岛及附属岛屿给日本；赔偿日本军费白银二亿两；增开重庆、沙市、苏州、杭州为通商口岸；开辟内河新航线；允许日本在中国的通商口岸开设工厂，产品运销中国内地免收内地税。
1895年之后，李鸿章像被水淹过的一座土山一样坍塌了，在此之前，这座山峦曾经气冲霄汉，巍峨矗立。从某种意义上说，李鸿章犹如一个赌徒一样，输掉了自己毕生的积蓄。但李鸿章还是克制住自己巨大的悲伤，像一个职业外交家一样，尽力用外交弥补自己的过失。而后，他把自己封闭在冷静的沉默中，就像一只受了伤的老虎，一边舔着自己的伤口，一边思考着对策，隐忍，等待，梦想着伺机一击。只可惜，李鸿章没有等到出击的那一天。以后的日子更加阴晦，在他面前的，是更多的麻烦和郁闷；是寒冷，那仿佛来自极地之侧的冰寒。
1895年4月，李鸿章带着《马关条约》草约和脸上的绷带，还有懊恼沮丧的心情回国时，发现自己早已成了举国之“公敌”。朝廷斥责他办事不力，官员说他丧权辱国，民间传说他拿了日本人的银子。更有人公开声明说，要不惜一切杀掉他，以雪“心头奇耻大辱”。只有那一句话，让李鸿章闻后不能不老泪纵横。其时，全体军机大臣集体上奏给光绪帝，奏折中有此一语：“中国之败，全由不西化之故，非鸿章之过”。
当举国上下一片讨伐李鸿章之时，沙俄突然跳出来声称要帮助清政府讨回辽东半岛，这让清政府眼前一亮。本来，俄国就一直打着朝鲜和中国东三省的主意，它是想伺机夺取不冻港，拥有自己的东方出海口。为此，沙俄从19世纪90年代起，就开始修建西伯利亚铁路。他们梦想着铁路能从中国东三省穿过，利用旅顺和大连这两个不冻港。中日战争爆发，李鸿章请求沙俄调解，沙俄也是抱着观望的态度，直到中国战败。
俄国并不希望这样的结局。如果日本在控制朝鲜后，再控制了辽东半岛，沙俄在华利益就会受到极大的损失。于是，沙俄联合了德国和法国为清政府说话，要求日本归还辽东半岛。德国和法国是出于什么目的呢？法国是想通过俄国牵制德国，德国是想讨好俄国，让俄国把目光放在远东地区，自己好在欧洲下手。这就是所谓“三国干涉还辽”事件之起因。后来，“三国干涉还辽”成功了。《马关条约》最后是这样的收场：清政府赔款2万万两巨银，并付给日本“赎辽费”3000万两白银，割让台湾、澎湖。虽然今天我们可以客观地看待李鸿章，不能把卖国的罪名安在他一个人的身上，但是必须承认这样一个事实：李鸿章从晚清政府的利益出发，和晚清政府一起出卖了中国的部分主权和领土。
由于签订《马关条约》而被免去显赫职务的李鸿章心里并不怨恨清政府的处罚。李鸿章知道，大清帝国必须要惩办一个“卖国贼”以平息众怒，李鸿章必然成为大清帝国卖国的替罪羊。
