终身机器学习（原书第2版）

　　本书介绍终身学习这种高级机器学习范式，这种范式通过积累过去的知识持续地学习，并将学到的知识用于帮助在未来进行其他学习和解决问题。相比之下，当前主流的机器学习范式都是孤立学习，即给定一个训练数据集，之后在这个数据集上运行机器学习算法以生成模型，然后再将该模型运用于预期的应用。这些范式不保留已经学到的知识，也不将其运用到后续的学习中。与孤立学习系统不同，人类只通过少量的样例就能实现有效学习，这是因为人类的学习是知识驱动的，即只需少量的数据或付出，就能利用过去已经学到的知识去学习新事物。终身学习的目标就是模仿人类的这种学习能力，因为一个没有持续学习能力的AI系统不能算作真正的智能。 自本书第1版出版以来，终身学习的研究在相对较短的时间内取得了显著的进展。出版第2版是为了扩展终身学习的定义，更新部分章节的内容，并添加一个新的章节来介绍深度神经网络中持续学习的内容，这部分内容在过去的两三年里一直被积极研究。部分章节的内容也进行了修改，使得内容更有条理，方便读者阅读。此外，作者希望为这一研究领域提出一个统一的框架。目前，在机器学习中有几个与终身学习密切相关的研究课题，特别是多任务学习、迁移学习以及元学习，因为它们也采用了知识共享和知识迁移的思想。本书之所以集中介绍这些技术并讨论其异同，目的是在介绍终身机器学习的同时，对该领域的重要研究成果和新想法进行全面回顾。本书适用于对机器学习、数据挖掘、自然语言处理或模式识别感兴趣的学生、研究人员和从业人员。

　　陈志源（Zhiyuan Chen），在伊利诺伊大学芝加哥分校刘兵教授的指导下获得博士学位，博士论文题目为“终身机器学习：主题建模与分类”。他于2016年加入谷歌公司。他的研究兴趣包括机器学习、自然语言处理、文本挖掘、数据挖掘和竞价拍卖算法：他提出了几种终身机器学习算法，实现了自动从文本文档中挖掘信息，并在KDD、ICML、ACL、WWW、IJCAI和AAAI等主要会议上发表了超过15篇长篇研究论文。他还在IJCAI-2015、KDD-2016和EMNLP-2016上提供了三个关于终身机器学习的教程。他曾经是许多著名的自然语言处理、数据挖掘、人工智能和互联网研究会议的成员，并于201 5年获得伊利诺伊州技术基金会颁发的有潜力50人奖，以表彰他的学术贡献。刘兵（Bing Liu），是伊利诺伊大学芝加哥分校的杰出教授，在爱丁堡大学获得了博士学位。他的研究兴趣包括终身学习、情感分析、数据挖掘、机器学习和自然语言处理，他在会议和期刊上发表了大量论文，其中两篇论文获得了KDD 10年Test-of-Time 奖，一篇论文获得WSDM 10年Test-of-Time 奖。他也是4册书的作者，其中2本关于情感分析，1本关于终身学习，1本关于数据挖掘。他的一些工作被媒体广泛报道，包括《纽约时报》的头版文章。他是2018 ACM SIGKDD创新奖的获得者，也是很多数据挖掘会议（包括KDD、ICDM、CIKM、WSDM、SDM和PAKDD）的程序主席。他同时是包括TKDE、TWEB、DMKD和TKDD在内的期刊的副编辑，还是很多自然语言处理、人工智能、网络和数据挖掘会议的领域主席或者高级程序委员会成员，并且曾经是2013～2017年ACM SIGKDD的主席，是ACM、AAAI和IEEE会士。陈健，现任华南理工大学教授、博士生导师，并担任中国计算机学会高级会员、中国计算机学会数据库专业委员会委员、广东省计算机学会大数据专业委员会副主任、广东省计算机学会数据库分会理事、秘书长、广东省计算机学会计算智能专业委员会委员。曾在加拿大西蒙弗雷泽大学计算机科学学院和新加坡国立大学计算学院从事数据挖掘和机器学习方面的研究工作，并主持多项国家、省级项目。近十年以来，在国际学术期刊和国际会议上发表论文六十多篇，出版译著四部，主编丛书一部。

译者序
前　言
致　谢
第1章　引言1
　1.1　传统机器学习范式1
　1.2　案例3
　1.3　终身学习简史7
　1.4　终身学习的定义9
　1.5　知识类型和关键挑战14
　1.6　评估方法和大数据的角色17
　1.7　本书大纲18
第2章　相关学习范式20
　2.1　迁移学习20
　　2.1.1　结构对应学习21
　　2.1.2　朴素贝叶斯迁移分类器22
　　2.1.3　迁移学习中的深度学习23
　　2.1.4　迁移学习与终身学习的区别24
　2.2　多任务学习25
　　2.2.1　多任务学习中的任务相关性25
　　2.2.2　GO-MTL：使用潜在基础任务的多任务学习26
　　2.2.3　多任务学习中的深度学习28
　　2.2.4　多任务学习与终身学习的区别30
　2.3　在线学习30
　2.4　强化学习31
　2.5　元学习32
　2.6　小结34
第3章　终身监督学习35
　3.1　定义和概述36
　3.2　基于记忆的终身学习37
　　3.2.1　两个基于记忆的学习方法37
　　3.2.2　终身学习的新表达37
　3.3　终身神经网络39
　　3.3.1　MTL网络39
　　3.3.2　终身EBNN40
　3.4　ELLA：高效终身学习算法41
　　3.4.1　问题设定41
　　3.4.2　目标函数42
　　3.4.3　解决第一个低效问题43
　　3.4.4　解决第二个低效问题45
　　3.4.5　主动的任务选择46
　3.5　终身朴素贝叶斯分类47
　　3.5.1　朴素贝叶斯文本分类47
　　3.5.2　LSC的基本思想49
　　3.5.3　LSC技术50
　　3.5.4　讨论52
　3.6　基于元学习的领域词嵌入52
　3.7　小结和评估数据集54
第4章　持续学习与灾难性遗忘56
　4.1　灾难性遗忘56
　4.2　神经网络中的持续学习58
　4.3　无遗忘学习61
　4.4　渐进式神经网络62
　4.5　弹性权重合并63
　4.6　iCaRL：增量分类器与表示学习65
　　4.6.1　增量训练66
　　4.6.2　更新特征表示67
　　4.6.3　为新类构建范例集68
　　4.6.4　在iCaRL中完成分类68
　4.7　专家网关69
　　4.7.1　自动编码网关69
　　4.7.2　测量训练的任务相关性70
　　4.7.3　为测试选择最相关的专家71
　　4.7.4　基于编码器的终身学习71
　4.8　生成式重放的持续学习72
　　4.8.1　生成式对抗网络72
　　4.8.2　生成式重放73
　4.9　评估灾难性遗忘74
　4.10　小结和评估数据集75
第5章　开放式学习79
　5.1　问题定义和应用80
　5.2　基于中心的相似空间学习81
　　5.2.1　逐步更新CBS学习模型82
　　5.2.2　测试CBS学习模型84
　　5.2.3　用于未知类检测的CBS学习84
　5.3　DOC：深度开放式分类87
　　5.3.1　前馈层和一对其余层87
　　5.3.2　降低开放空间风险89
　　5.3.3　DOC用于图像分类90
　　5.3.4　发现未知类90
　5.4　小结和评估数据集91
第6章　终身主题建模93
　6.1　终身主题建模的主要思想93
　6.2　LTM：终身主题模型97
　　6.2.1　LTM模型97
　　6.2.2　主题知识挖掘99
　　6.2.3　融合过去的知识100
　　6.2.4　Gibbs采样器的条件分布102
　6.3　AMC：少量数据的终身主题模型102
　　6.3.1　AMC整体算法103
　　6.3.2　挖掘must-link知识104
　　6.3.3　挖掘cannot-link知识107
　　6.3.4　扩展的Pólya瓮模型108
　　6.3.5　Gibbs采样器的采样分布110
　6.4　小结和评估数据集112
第7章　终身信息提取114
　7.1　NELL：永不停止语言学习器114
　　7.1.1　NELL结构117
　　7.1.2　NELL中的提取器与学习118
　　7.1.3　NELL中的耦合约束120
　7.2　终身评价目标提取121
　　7.2.1　基于推荐的终身学习122
　　7.2.2　AER算法123
　　7.2.3　知识学习124
　　7.2.4　使用过去知识推荐125
　7.3　在工作中学习126
　　7.3.1　条件随机场127
　　7.3.2　一般依赖特征128
　　7.3.3　L-CRF算法130
　7.4　Lifelong-RL：终身松弛标记法131
　　7.4.1　松弛标记法132
　　7.4.2　终身松弛标记法133
　7.5　小结和评估数据集133
第8章　聊天机器人的持续知识学习135
　8.1　LiLi：终身交互学习与推理136
　8.2　LiLi的基本思想139
　8.3　LiLi的组件141
　8.4　运行示例142
　8.5　小结和评估数据集142
第9章　终身强化学习144
　9.1　基于多环境的终身强化学习146
　9.2　层次贝叶斯终身强化学习147
　　9.2.1　动机147
　　9.2.2　层次贝叶斯方法148
　　9.2.3　MTRL算法149
　　9.2.4　更新层次模型参数150
　　9.2.5　对MDP进行采样151
　9.3　PG-ELLA：终身策略梯度强化学习152
　　9.3.1　策略梯度强化学习152
　　9.3.2　策略梯度终身学习设置154
　　9.3.3　目标函数和优化154
　　9.3.4　终身学习的安全策略搜索156
　　9.3.5　跨领域终身强化学习156
　9.4　小结和评估数据集157
第10章　结论及未来方向159
参考文献164