人工智能安全：原理剖析与实践

　　本书对人工智能安全的基本概念和框架进行梳理。第1章主要介绍信息安全和人工智能的基础性概念。第2章和第3章分别从人工智能信息系统安全和人工智能算法安全的角度，对人工智能安全的研究方法、研究手段进行详述，其中包含大量的真实例子、程序代码。第4章主要讨论人工智能辅助攻防新场景。第5章主要讨论人工智能安全生态。希望通过本书，传统信息安全和人工智能的研究者能快速进入这个领域，为人工智能安全的研究添砖加瓦。 本书适合关注人工智能安全的研究人员、工程技术人员、教师、学生等阅读。

　　王琦 KEEN和GeekPwn发起创办人。曾是微软美国总部以外第一个区域性安全响应中心ChinaMSRC的创始人之一和技术负责人，微软亚太区第一位漏洞研究领域专家级研究员。创建并带领KEEN团队获得了亚洲第一个世界黑客大赛冠军。 朱军 清华大学计算机系博世人工智能冠名教授，瑞莱智慧联合创始人兼首席科学家，IEEE TPAMI副主编，曾任卡内基梅隆大学兼职教授，担任ICML、 NeurIPS、ICLR等国际会议资深领域主席。获ICLR杰出论文奖、CCF自然科学一等奖、吴文俊人工智能自然科学一等奖和科学探索奖，入选“万人计划”领军人才、MIT TR35中国先锋者、IEEE AI's 10 to Watch等。王海兵 KEEN联合创始人，GeekPwn安全实验室总监，前微软安全专家级工程师。有20余年安全产品开发及测试经验，是GeekPwn CAAD人工智能对抗与防御大赛的总命题人。

第1章　信息安全与人工智能基础 1

1.1　“人工智能安全”在研究什么 1

1.1.1　AI Safety与AI Security 1

1.1.2　人工智能系统面临的安全挑战 4

1.1.3　应对安全挑战 7

1.2　信息安全基础知识 9

1.2.1　信息安全三要素 10

1.2.2　攻击的产生条件 11

1.2.3　常见的漏洞类型 13

1.2.4　输入验证 22

1.2.5　攻击面 24

1.2.6　漏洞挖掘方法 24

1.2.7　常见的漏洞库 26

1.2.8　防御手段 27

1.3　人工智能基础知识 28

1.3.1　人工智能发展历史 29

1.3.2　深度学习基础 33

1.3.3　ImageNet与ILSVRC 35

1.3.4　图像识别领域的里程碑技术 38

1.3.5　对一些概念的解释 38

1.4　信息安全与人工智能的碰撞 40

1.5　本章小结 42

参考资料 42

第2章　人工智能信息系统安全 43

2.1　信息系统环境安全 43

2.1.1　人工智能与信息系统环境 43

2.1.2　因存在信息系统环境漏洞而被攻击的人工智能系统 46

2.2　基础架构安全 56

2.2.1　人工智能基础架构 57

2.2.2　人工智能框架安全 62

2.3　依赖库安全 72

2.3.1　TensorFlow处理GIF文件的一个漏洞 72

2.3.2　依赖库NumPy中的一个漏洞 78

2.3.3　依赖库OpenCV中的一个堆溢出漏洞 81

2.4　云服务安全 85

2.5　人工智能综合应用：自动驾驶安全 88

2.5.1　自动驾驶技术现状 88

2.5.2　自动驾驶安全分析 95

2.5.3　自动驾驶汽车感知层攻击示例及分析 98

2.5.4　汽车信息系统攻击示例及分析 103

2.6　本章小结 108

参考资料 109

第3章　人工智能算法安全 110

3.1　人工智能算法安全概述 110

3.2　白盒场景下的对抗攻击 112

3.2.1　快速梯度符号法 113

3.2.2　DeepFool算法 116

3.2.3　投影梯度下降法 119

3.2.4　基于优化的对抗样本生成算法——C&W算法 123

3.2.5　通用对抗扰动 128

3.3　黑盒场景下的对抗攻击 129

3.3.1　基于迁移的黑盒攻击 129

3.3.2　基于查询的黑盒攻击 138

3.4　对抗防御 153

3.4.1　数据增强（训练阶段） 154

3.4.2　鲁棒网络结构（训练阶段） 161

3.4.3　鲁棒损失函数（训练阶段） 167

3.4.4　输入变换（测试阶段） 175

3.4.5　模型后处理（测试阶段） 186

3.4.6　对抗检测（测试阶段） 191

3.4.7　可验证的鲁棒训练 197

3.5　案例分析 200

3.5.1　人脸识别 201

3.5.2　智能汽车 205

3.6　本章小结 209

参考资料 209

第4章　人工智能辅助攻防新场景 215

4.1　自动化漏洞挖掘、攻击与防御 215

4.1.1　2016 Cyber Grand Challenge 216

4.1.2　符号执行技术 218

4.1.3　Mayhem系统原理 221

4.2　生成对抗网络在安全领域的应用 223

4.3　DeepFake检测挑战赛 226

4.4　实验：为视频中的人物换脸 228

4.4.1　实验步骤 228

4.4.2　实验原理 230

4.4.3　从法律角度看AI换脸技术 232

4.5　本章小结 234

参考资料 234

第5章　人工智能安全生态 235

5.1　人工智能安全研究现状 235

5.1.1　政府规划 235

5.1.2　非政府组织的推动 237

5.1.3　人工智能研究人员对安全的研究 240

5.1.4　厂商和安全极客的作用 240

5.1.5　非人工智能专业科学家的作用 241

5.2　人工智能安全与伦理 242

5.2.1　人工智能伦理研究现状 242

5.2.2　让人工智能做出正确的道德决策 245

5.2.3　人工智能道德决策的难点 246

5.2.4　人工智能安全问题责任归属 248

5.2.5　人类应该如何对待人工智能 250

5.2.6　人工智能有可能统治人类吗 251

5.3　本章小结 252

参考资料 252