治承八年（1184）秋，忌惮源义经的赖朝只派了源范赖前去征讨平家。结果范赖的作战意图被敌方看破，后路被断粮草被劫，窝在那里动弹不得。无奈之下，源赖朝唯有命令源义经前去救援。双方在屋岛（香川县内）展开水战，战斗中弓矢齐飞。平氏军中号称第一射手的平教经向源义经放了一支冷箭，义经四天王之一的佐藤继信策马奔前以身挡箭，强箭穿甲，当场被射杀。
哭过之后的源义经就暴走了，下令全军强攻。双方死磕了一整天后，平氏终于抵挡不住了，再加上收到了源家援军很快要来的情报，不得已撤出了阵地。至此，濑户内海落入了源家手中，而平氏从此陷入了山穷水尽的局面。
治承九年（1185）三月下旬，源赖朝下令对平家发起最后的总攻。在关门海峡的坛之浦开战，源义经下令召集所有弓箭手射杀对方的舵手和水手。以至于平家军纵然有坚船利炮，也只能做水里的乌龟。
开打不过半日，平家就几乎全军覆没。平氏诸将纷纷跳海自尽，当主平宗盛以及其妻儿也被义经活捉，并准备送入镰仓。
然而，押解队伍行至镰仓不远处，源赖朝来了一封亲笔信。信上说，只需将平家俘虏送进城里就行，至于源义经，现在就能自由活动了，不必进城。
功高盖主的义经因为种种不着调的行为让赖朝备感头疼，而义经本人也因兄长的猜忌而感到心痛不已，所以他当下也回了一封信，表示自己刚生出来就惨遭平家迫害，忐忐忑忑地活在世上，始终不敢忘却家仇，幸得今日老天开眼，灭了平家，欢呼雀跃还来不及呢，怎么可能还有其他非分之想？请哥哥无论如何也要相信我一次，我是绝对没有二心的。
源赖朝表示不信。源义经一气之下，当场就来了句："关东积怨之辈可从义经！"
就是说但凡心怀不满的，就跟我来。
来干什么？他没说，其实他也没打算干什么，这纯粹就是一句牢骚。但话传到赖朝耳朵里后，变成义经有谋反之心的意思了。
这年9月，源赖朝为刺探源义经，遣?
原景季前往京都，封源义经为伊予守，并要求其发兵征讨曾追随木曾义仲的叔父源行家。
结果，义经很不识相地以同为源家不忍加害为由拒绝了。
就此，源赖朝决定除掉这个弟弟。
10月，一个叫土佐坊昌俊的人率领六十余骑突袭堀川御所。源义经提刀应战，双方一阵互殴之后，昌俊兵败被俘，之后不等大刑伺候便供出了幕后主使：源赖朝。同时他还表示，更多的军队还在后头呢。
事已至此，义经只能走上绝路了。当晚，他带着六十多人从京都出走，一路上尝尽疾苦、隐姓埋名，还因路途艰辛不得不把一怀孕的小老婆丢在了半道儿上以减轻负担。跋山涉水好几个月，终于在文治三年（1187）二月到达了奥州藤原秀衡处。
