知识图谱与深度学习（新时代 技术新未来）

　　知识图谱旨在将人类知识组织成结构化知识系统，是人工智能实现真正意义的理解、记忆与推理的重要基础。知识图谱作为典型的符号表示系统，如何有效用于机器学习算法，面临着知识表示、知识获取和计算推理等方面的诸多挑战。近年来，以神经网络为代表的深度学习技术引发了人工智能的新一轮浪潮。 本书介绍了作者团队在知识图谱与深度学习方面的研究成果，展现了数据驱动的深度学习与符号表示的知识图谱之间相互补充和促进的技术趋势。本书内容对于人工智能基础研究具有一定的参考意义，既适合专业人士了解知识图谱、深度学习和人工智能的前沿热点，也适合对人工智能感兴趣的本科生和研究生作为学习读物。

　　刘知远 清华大学计算机系副教授、博士生导师。主要研究方向为表示学习、知识图谱和社会计算。2011年获得清华大学博士学位，已在ACL、IJCAI、AAAI等人工智能领域的著名国际期刊和会议发表相关论文60余篇，谷歌学术引用超过7 000次。博士论文曾被评为清华大学优秀博士学位论文、中国人工智能学会优秀博士学位论文。曾被评为清华大学优秀博士后，获得过中文信息学会青年创新奖，入选《麻省理工科技评论》“35岁以下科技创新35人”中国区榜单（MIT TR-35 China）、中国科学技术协会青年人才托举工程、中国计算机学会青年学者提升计划。多次担任ACL、EMNLP、COLING、IJCNLP等著名国际会议的领域主席。韩旭 清华大学计算机系博士生，主要研究方向为自然语言处理、知识图谱、信息抽取。在AAAI、ACL、EMNLP、COLING、NAACL等人工智能领域的著名国际会议上发表多篇论文，是OpenKE、OpenNRE等开源项目的开发者之一。孙茂松 清华大学计算机系长聘教授，清华大学人工智能研究院常务副院长，清华大学计算机学位评定分委员会主席。主要研究方向为自然语言理解、中文信息处理、Web智能、社会计算和计算教育学等。国家重点基础研究发展计划（“973”计划）首席科学家，国家社会科学基金重大项目首席专家。在重要国际刊物、国际会议、国内核心刊物上发表论文200余篇，谷歌学术引用9 000余次。2013年带领团队成功研制并发布了全球第1个向全社会免费开放的中文慕课平台“学堂在线”，目前注册用户已超过2 000万人。2017年领衔研制出“九歌”人工智能诗歌写作系统，引起了社会关注。主要兼职包括教育部教学信息化与教学方法创新指导委员会副主任委员，互联网教育智能技术及应用国家工程实验室副主任，中国科学技术协会第九届全国委员会委员，中国中文信息学会第六届、第七届副理事长，《中文信息学报》主编。2016年获“全国优秀科技工作者”及“首都市民学习之星”称号。

第1 章绪论.1

1.1 知识图谱简介2

1.2 深度学习的优势和挑战4

1.3 深度学习+ 知识图谱=1 .8

1.3.1 知识的表示学习9

1.3.2 知识的自动获取10

1.3.3 知识的计算应用13

1.4 本书结构14

1.5 本章总结14

第一篇世界知识图谱

第2 章世界知识的表示学习19

2.1 章节引言19

2.2 相关工作20

2.2.1 知识表示学习经典模型20

2.2.2 平移模型及其拓展模型22

2.3 基于复杂关系建模的知识表示学习25

2.3.1 算法模型.25

2.3.2 实验分析.26

2.3.3 小结32

2.4 基于关系路径建模的知识表示学习32

2.4.1 算法模型.32

2.4.2 实验分析.34

2.4.3 小结39

vi j 知识图谱与深度学习

2.5 基于属性关系建模的知识表示学习39

2.5.1 算法模型.40

2.5.2 实验分析.41

2.5.3 小结44

2.6 融合实体描述信息的知识表示学习44

2.6.1 算法模型.45

2.6.2 实验分析.47

2.6.3 小结54

2.7 融合层次类型信息的知识表示学习55

2.7.1 算法模型.55

2.7.2 实验分析.57

2.7.3 小结62

2.8 融合实体图像信息的知识表示学习62

2.8.1 算法模型.63

2.8.2 实验分析.64

2.8.3 小结68

2.9 本章总结68

第3 章世界知识的自动获取70

3.1 章节引言70

3.2 相关工作71

3.2.1 有监督的关系抽取模型71

3.2.2 远程监督的关系抽取模型.72

3.3 基于选择性注意力机制的关系抽取73

3.3.1 算法模型.74

3.3.2 实验分析.78

3.3.3 小结82

3.4 基于关系层次注意力机制的关系抽取83

3.4.1 算法模型.83

目录j vii

3.4.2 实验分析.86

3.4.3 小结89

3.5 基于选择性注意力机制的多语言关系抽取.89

3.5.1 算法模型.90

3.5.2 实验分析.93

3.5.3 小结98

3.6 引入对抗训练的多语言关系抽取98

3.6.1 算法模型.99

3.6.2 实验分析.103

3.6.3 小结106

3.7 基于知识图谱与文本互注意力机制的知识获取.106

3.7.1 算法模型.107

3.7.2 实验分析.112

3.7.3 小结117

3.8 本章总结118

第4 章世界知识的计算应用119

4.1 章节引言119

4.2 细粒度实体分类120

4.2.1 算法模型.120

4.2.2 实验分析.122

4.2.3 小结129

4.3 实体对齐129

4.3.1 算法模型.129

4.3.2 实验分析.132

4.3.3 小结135

4.4 融入知识的信息检索.136

4.4.1 算法模型.136

4.4.2 实验分析.138

4.4.3 小结143

viii j 知识图谱与深度学习

4.5 本章总结143

第二篇语言知识图谱

第5 章语言知识的表示学习147

5.1 章节引言147

5.2 相关工作148

5.2.1 词表示学习148

5.2.2 词义消歧.149

5.3 义原的表示学习149

5.3.1 算法模型.149

5.3.2 实验分析.152

5.3.3 小结155

5.4 基于义原的词表示学习156

5.4.1 算法模型.156

5.4.2 实验分析.159

5.4.3 小结164

5.5 本章总结164

第6 章语言知识的自动获取166

6.1 章节引言166

6.2 相关工作167

6.2.1 知识图谱及其构建167

6.2.2 子词和字级NLP 167

6.2.3 词表示学习及跨语言的词表示学习167

6.3 基于协同过滤和矩阵分解的义原预测168

6.3.1 算法模型.168

6.3.2 实验分析.171

6.3.3 小结175

6.4 融入中文字信息的义原预测175

6.4.1 算法模型.176

目录j ix

6.4.2 实验分析.179

6.4.3 小结183

6.5 跨语言词汇的义原预测183

6.5.1 算法模型.184

6.5.2 实验分析.188

6.5.3 小结194

6.6 本章总结194

第7 章语言知识的计算应用195

7.1 章节引言195

7.2 义原驱动的词典扩展.196

7.2.1 相关工作.196

7.2.2 任务设定.198

7.2.3 算法模型.199

7.2.4 实验分析.202

7.2.5 小结207

7.3 义原驱动的神经语言模型.207

7.3.1 相关工作.208

7.3.2 任务设定.209

7.3.3 算法模型.210

7.3.4 实验分析.213

7.3.5 小结219

7.4 本章总结219

第8 章总结与展望220

8.1 本书总结220

8.2 未来展望221

8.2.1 更全面的知识类型221

8.2.2 更复杂的知识结构222

8.2.3 更有效的知识获取223

8.2.4 更强大的知识指导223

x j 知识图谱与深度学习

8.2.5 更精深的知识推理224

8.3 结束语224

相关开源资源226

参考文献228

后记.243