治承八年（1184）秋，忌憚源義經(jīng)的賴朝只派了源范賴前去征討平家。結(jié)果范賴的作戰(zhàn)意圖被敵方看破，后路被斷糧草被劫，窩在那里動(dòng)彈不得。無奈之下，源賴朝唯有命令源義經(jīng)前去救援。雙方在屋島（香川縣內(nèi)）展開水戰(zhàn)，戰(zhàn)斗中弓矢齊飛。平氏軍中號稱第一射手的平教經(jīng)向源義經(jīng)放了一支冷箭，義經(jīng)四天王之一的佐藤繼信策馬奔前以身擋箭，強(qiáng)箭穿甲，當(dāng)場被射殺。

哭過之后的源義經(jīng)就暴走了，下令全軍強(qiáng)攻。雙方死磕了一整天后，平氏終于抵擋不住了，再加上收到了源家援軍很快要來的情報(bào)，不得已撤出了陣地。至此，瀨戶內(nèi)海落入了源家手中，而平氏從此陷入了山窮水盡的局面。

治承九年（1185）三月下旬，源賴朝下令對平家發(fā)起最后的總攻。在關(guān)門海峽的壇之浦開戰(zhàn)，源義經(jīng)下令召集所有弓箭手射殺對方的舵手和水手。以至于平家軍縱然有堅(jiān)船利炮，也只能做水里的烏龜。

開打不過半日，平家就幾乎全軍覆沒。平氏諸將紛紛跳海自盡，當(dāng)主平宗盛以及其妻兒也被義經(jīng)活捉，并準(zhǔn)備送入鐮倉。

然而，押解隊(duì)伍行至鐮倉不遠(yuǎn)處，源賴朝來了一封親筆信。信上說，只需將平家俘虜送進(jìn)城里就行，至于源義經(jīng)，現(xiàn)在就能自由活動(dòng)了，不必進(jìn)城。

功高蓋主的義經(jīng)因?yàn)榉N種不著調(diào)的行為讓賴朝備感頭疼，而義經(jīng)本人也因兄長的猜忌而感到心痛不已，所以他當(dāng)下也回了一封信，表示自己剛生出來就慘遭平家迫害，忐忐忑忑地活在世上，始終不敢忘卻家仇，幸得今日老天開眼，滅了平家，歡呼雀躍還來不及呢，怎么可能還有其他非分之想？請哥哥無論如何也要相信我一次，我是絕對沒有二心的。

源賴朝表示不信。源義經(jīng)一氣之下，當(dāng)場就來了句："關(guān)東積怨之輩可從義經(jīng)！"

就是說但凡心懷不滿的，就跟我來。

來干什么？他沒說，其實(shí)他也沒打算干什么，這純粹就是一句牢騷。但話傳到賴朝耳朵里后，變成義經(jīng)有謀反之心的意思了。

這年9月，源賴朝為刺探源義經(jīng)，遣?

原景季前往京都，封源義經(jīng)為伊予守，并要求其發(fā)兵征討曾追隨木曾義仲的叔父源行家。

結(jié)果，義經(jīng)很不識相地以同為源家不忍加害為由拒絕了。

就此，源賴朝決定除掉這個(gè)弟弟。

10月，一個(gè)叫土佐坊昌俊的人率領(lǐng)六十余騎突襲堀川御所。源義經(jīng)提刀應(yīng)戰(zhàn)，雙方一陣互毆之后，昌俊兵敗被俘，之后不等大刑伺候便供出了幕后主使：源賴朝。同時(shí)他還表示，更多的軍隊(duì)還在后頭呢。

事已至此，義經(jīng)只能走上絕路了。當(dāng)晚，他帶著六十多人從京都出走，一路上嘗盡疾苦、隱姓埋名，還因路途艱辛不得不把一懷孕的小老婆丟在了半道兒上以減輕負(fù)擔(dān)。跋山涉水好幾個(gè)月，終于在文治三年（1187）二月到達(dá)了奧州藤原秀衡處。