建武二年(公元318年)五月八日，段匹磾对外宣称刘琨企图自立为帝，犯上作乱，而自己奉密诏诛杀刘琨，派人将刘琨勒死。刘琨死时年仅48岁。同时，段匹磾还诛杀了刘琨的儿子、侄子共四人。
刘琨死后，江南政权为了拉拢段匹磾，并没有给予刘琨任何褒赠。数年之后，在被司马睿爱赏的温峤(刘琨是其姨夫)多次请求下，东晋政府为刘琨发丧，追赠为太尉、侍中。
王敦指示段匹磾杀掉刘琨，这一说法出自《晋书·刘琨传》。但《晋书·段匹磾传》却记载：“(段匹磾)复为末柸所败，士众离散，惧琨图己，遂害之。”此处仅仅提到段匹磾要杀刘琨，并没有提到王敦或者东晋朝廷要杀刘琨。《晋书·元帝纪》也仅仅记载刘琨于此时被段匹磾所害。《资治通鉴》里也没有王敦或者东晋政府要加害刘琨的说法，只是说：“匹磾称诏收琨。”
然而，《建康实录》却对于王敦想要诛杀刘琨的原因作了一个说明。
一是刘琨在江南没有人缘。《建康实录》记载：当司马睿南渡江东之后，虽然长安尚有晋愍帝，但司马睿在江东已经构建了属于自己的独立王国。中原很多名门大族也都投靠了司马睿，而刘琨却一直在并州坚守。刘琨没有及时选择阵营，一直让司马睿等人耿耿于怀。
二是王敦妒忌刘琨。《建康实录》还记载：“初，王敦见刘琨劝进表至‘天祚大晋，必将有主。主晋祚者，非大王而谁！’敦大怒，投表于地，曰：‘读《左传》三十年，一朝为琨所用！’却因内惮矣。”刘琨在晋愍帝被俘之后，明确了自己的立场，并主动向司马睿劝进。刘琨的劝进表文采飞扬，让王敦心生醋意。王敦听说段匹磾拘禁了刘琨之后，就秘密派出使者要求段匹磾将刘琨处死，而段匹磾担心刘琨势力会对自己不利，就对外宣称诛杀刘琨是奉了朝廷的诏书。
不论段匹磾以何种冠冕堂皇的理由杀掉刘琨，刘琨的死不仅没有换来段匹磾治下幽州地区的安定，反而加速了本来就“士众离散”的段匹磾统治走向分崩离析。史称：“于是，晋人离散矣。”很多原来刘琨的部下更是向东投奔段匹磾的敌人段末柸。如《晋书·刘琨传附刘群传》就指出，温峤的姨家弟弟刘群，刘琨的原部下崔悦，还有卢谌等，都在段末柸的手下。
杀掉刘琨以后，段匹磾想拥众逃往代郡，但是听到这一消息的拓跋郁律秘密整顿军队，准备随时打击来犯之敌。此时，段末柸已自称为幽州刺史，命令弟弟率军攻击蓟县。段匹磾走投无路，只好选择南下。当段匹磾率领的数千部队走到盐山(河北省沧州市盐山县)的时候，他们却被石勒的部将阻截。一番激战之后，段匹磾只得又折返回蓟县，勉强暂时继续固守在那里。
刘琨的死在当时是一件大事。晋朝在北方最有影响力的抗胡英雄陨落了，人心大散。
