对抗机器学习：机器学习系统中的攻击和防御

　　以对抗样本生成和防御为核心的对抗深度学习，无疑是对抗机器学习领域目前最受关注的研究热点。但是，本书涉及更宽广的主题，从攻击时机、攻击者可以利用的信息、攻击目标三个维度，全面论述了监督学习、无监督学习以及强化学习系统中的攻击和防御技术。这对于读者全面系统地掌握对抗机器学习的理论、方法及应用，以及深入开展深度学习的攻击和防御问题研究，都是至关重要的。

　　叶夫根尼·沃罗贝基克（Yevgeniy Vorobeychik） 美国范德堡大学的计算机科学、计算机工程和生物医学信息学助理教授。此前，他是桑迪亚国家实验室的首席研究员（Principal Research Scientist）。2008至2010年，他在宾夕法尼亚大学计算机与信息科学系担任博士后研究员。他在密歇根大学获得了计算机科学与工程博士（2008）和硕士（2004）学位，在西北大学获得了计算机工程学士学位。他的工作重点是安全和隐私的博弈论建模、对抗机器学习、算法与行为博弈论和激励设计、优化、基于代理的建模、复杂系统、网络科学和流行病控制。Vorobeychik博士于2017年获得NSF CAREER奖，并受邀参加了IJCAI-16早期职业焦点演讲。他被提名2008年ACM博士论文奖，并获得了2008年IFAAMAS杰出论文奖的荣誉提名。 穆拉特·坎塔尔乔格卢（Murat Kantarcioglu） 美国得克萨斯大学达拉斯分校的计算机科学教授和UTD数据安全与隐私实验室主任。目前，他还是哈佛大学数据隐私实验室的访问学者。他拥有中东技术大学计算机工程学士学位、普渡大学计算机科学硕士和博士学位。 Kantarcioglu博士的研究重点是创造能够有效地从任何数据中提取有用的信息而不牺牲隐私或安全的技术。他的研究获得了NSF、AFOSR、ONR、NSA和NIH的经费支持。他已经发表了超过175篇同行评审论文，并被《波士顿环球报》《ABC新闻》等媒体报道过，获得了三项优秀论文奖。除此之外，他还获得了其他各种奖项，包括NSF CAREER奖、普渡CERIAS钻石学术卓越奖、AMIA（美国医学信息学会）2014年Homer R. Warner奖和IEEE ISI（情报与安全信息学）2017年技术成就奖（由IEEE SMC和IEEE ITS协会联合颁发，以表彰他在数据安全和隐私方面的研究成就）。他是ACM的杰出科学家。 ◆ 译者简介 ◆ 王坤峰 北京化工大学信息科学与技术学院教授。他于2003年7月获得北京航空航天大学材料科学与工程专业学士学位，于2008年7月获得中国科学院研究生院控制理论与控制工程专业博士学位。2008年7月至2019年7月，他在中国科学院自动化研究所工作，历任助理研究员、副研究员，其中2015年12月至2017年1月，在美国佐治亚理工学院做访问学者。2019年8月，他调入北京化工大学，任教授。 他的研究方向包括计算机视觉、机器学习、智能交通和自动驾驶。他主持和参加了国家自然科学基金、国家重点研发计划、863、973、中科院院地合作项目、国家电网公司科技项目等科研项目20多项，在国内外期刊和会议上发表学术论文70多篇，其中SCI论文20多篇。他获授权国家发明专利17项，获得2011年中国自动化学会技术发明一等奖、2018年中国自动化学会科学技术进步特等奖。现为IEEE Senior Member、中国自动化学会高级会员、中国自动化学会平行智能专委会副主任、模式识别与机器智能专委会委员、混合智能专委会委员、中国计算机学会计算机视觉专委会委员、中国图象图形学学会机器视觉专委会委员、视觉大数据专委会委员。他目前担任国际期刊《IEEE Transactions on Intelligent Transportation Systems》编委，曾经担任《Neurocomputing》专刊和《自动化学报》专刊客座编委。 王雨桐 中国科学院大学人工智能学院和中国科学院自动化研究所直博研究生。她于2016年获得哈尔滨工程大学自动化专业学士学位。她的研究方向是对抗深度学习、深度学习的安全性与可解释性，尤其专注于图像分类和目标检测任务中的对抗攻击和防御。她已经在《IEEE Transactions on Vehicular Technology》《Neurocomputing》《IEEE Intelligent Vehicles Symposium》《模式识别与人工智能》以及中国自动化大会等国内外期刊和会议上发表了多篇论文。

译者序
前言
致谢
作者简介
译者简介
第1章　引言1
第2章　机器学习预备知识5
　2.1　监督学习5
　　2.1.1　回归学习6
　　2.1.2　分类学习7
　　2.1.3　PAC可学习性9
　　2.1.4　对抗环境下的监督学习9
　2.2　无监督学习10
　　2.2.1　聚类11
　　2.2.2　主成分分析11
　　2.2.3　矩阵填充12
　　2.2.4　对抗环境下的无监督学习13
　2.3　强化学习15
　　2.3.1　对抗环境下的强化学习17
　2.4　参考文献注释17
第3章　对机器学习的攻击类型19
　3.1　攻击时机20
　3.2　攻击者可以利用的信息22
　3.3　攻击目标23
　3.4　参考文献注释24
第4章　决策时攻击26
　4.1　对机器学习模型的规避攻击示例26
　　4.1.1　对异常检测的攻击：多态混合27
　　4.1.2　对PDF恶意软件分类器的攻击28
　4.2　决策时攻击的建模30
　4.3　白盒决策时攻击31
　　4.3.1　对二元分类器的攻击：对抗性分类器规避31
　　4.3.2　对多类分类器的决策时攻击38
　　4.3.3　对异常检测器的决策时攻击40
　　4.3.4　对聚类模型的决策时攻击40
　　4.3.5　对回归模型的决策时攻击41
　　4.3.6　对强化学习的决策时攻击44
　4.4　黑盒决策时攻击45
　　4.4.1　对黑盒攻击的分类法46
　　4.4.2　建模攻击者信息获取48
　　4.4.3　使用近似模型的攻击50
　4.5　参考文献注释51
第5章　决策时攻击的防御53
　5.1　使监督学习对决策时攻击更坚固53
　5.2　最优规避鲁棒性分类56
　　5.2.1　最优规避鲁棒的稀疏SVM56
　　5.2.2　应对自由范围攻击的规避鲁棒SVM60
　　5.2.3　应对受限攻击的规避鲁棒SVM62
　　5.2.4　无限制特征空间上的规避鲁棒分类63
　　5.2.5　对抗缺失特征的鲁棒性64
　5.3　使分类器对决策时攻击近似坚固66
　　5.3.1　松弛方法66
　　5.3.2　通用防御：迭代再训练68
　5.4　通过特征级保护的规避鲁棒性69
　5.5　决策随机化70
　　5.5.1　模型70
　　5.5.2　最优随机化的分类操作72
　5.6　规避鲁棒的回归74
　5.7　参考文献注释75
第6章　数据投毒攻击77
　6.1　建模投毒攻击78
　6.2　对二元分类的投毒攻击79
　　6.2.1　标签翻转攻击79
　　6.2.2　对核SVM的中毒数据插入攻击81
　6.3　对无监督学习的投毒攻击84
　　6.3.1　对聚类的投毒攻击84
　　6.3.2　对异常检测的投毒攻击86
　6.4　对矩阵填充的投毒攻击87
　　6.4.1　攻击模型87
　　6.4.2　交替最小化的攻击89
　　6.4.3　核范数最小化的攻击91
　　6.4.4　模仿普通用户行为92
　6.5　投毒攻击的通用框架94
　6.6　黑盒投毒攻击96
　6.7　参考文献注释98
第7章　数据投毒的防御100
　7.1　通过数据二次采样的鲁棒学习100
　7.2　通过离群点去除的鲁棒学习101
　7.3　通过修剪优化的鲁棒学习104
　7.4　鲁棒的矩阵分解107
　　7.4.1　无噪子空间恢复107
　　7.4.2　处理噪声108
　　7.4.3　高效的鲁棒子空间恢复109
　7.5　修剪优化问题的高效算法110
　7.6　参考文献注释111
第8章　深度学习的攻击和防御113
　8.1　神经网络模型114
　8.2　对深度神经网络的攻击：对抗样本115
　　8.2.1　l2范数攻击116
　　8.2.2　l∞范数攻击119
　　8.2.3　l0范数攻击121
　　8.2.4　物理世界中的攻击122
　　8.2.5　黑盒攻击123
　8.3　使深度学习对对抗样本鲁棒123
　　8.3.1　鲁棒优化124
　　8.3.2　再训练127
　　8.3.3　蒸馏127
　8.4　参考文献注释128
第9章　未来之路131
　9.1　超出鲁棒优化的范围131
　9.2　不完全信息132
　9.3　预测的置信度133
　9.4　随机化133
　9.5　多个学习器134
　9.6　模型和验证134
参考文献136
索引146