机器学习观止：核心原理与实践

　　《机器学习观止——核心原理与实践》在写作伊始，就把读者设想为一位虽然没有任何AI基础，但对技术本身抱有浓厚兴趣、喜欢“抽丝剥 茧”、探究真相的“有识之士”。有别于市面上部分AI技术书籍从一开始就直接讲解各种“高深莫测”算法的叙 述手法，《机器学习观止——核心原理与实践》尝试先从零开始构建基础技术点，而后“循序渐进”地引领读者前进，最终“直捣黄龙”，赢取最 后的胜利。 全书据此分为5篇，共31章，内容基本覆盖了由AI发展历史、数学基础知识、机器学习算法等经典知识点以及 深度学习、深度强化学习等较新理论知识所组成的AI核心技术。同时注重“理论联系实践”，通过多个章节重点 介绍了如何在工程项目中运用AI来解决问题的诸多经验以及相应的模型算法，以期让读者既能享受到“知其所以 然”的乐趣，还能体会到“知其然”的轻松和愉悦。 《机器学习观止——核心原理与实践》适合对AI感兴趣的读者阅读，从事AI领域工作的研究人员、工程开发人员、高校本科生和研究生都可以从 《机器学习观止——核心原理与实践》中学到机器学习的相关知识。

　　林学森，香港中文大学研究生学历，现为某世界100强科技公司首席技术专家、资深架构师。在系统软件、人工智能、软件工具链、分布式系统等领域具备多年的技术研发与项目管理经验。另著有《深入理解Android内核设计思想》《Android应用程序开发权威指南》等书籍。

目 录

机器学习基础知识篇

第1章 人工智能概述 002
1.1 人工智能的定义 002
1.2 人工智能发展简史 003
1.3 人工智能经典流派 016
1.4 人工智能与机器学习 027
1.5 如何选择机器学习算法 029
1.6 机器学习的典型应用场景 032
1.7 本书的组织结构 043

第2章 机器学习中的数学基础 045
2.1 微分学 045
2.2 线性代数 047
2.3 概率论 060
2.4 统计学 065
2.5 最优化理论 068
2.6 其他 088

第3章 机器学习模型的度量指标 099
3.1 Precision、Recall和mAP 099
3.2 F1 Score 101
3.3 混淆矩阵 102
3.4 ROC 103
3.5 AUC 105
3.6 PRC 107
3.7 工业界使用的典型AI指标 108

经典机器学习篇

第4章 回归算法 112
4.1 回归分析 112
4.2 线性回归 112
4.3 逻辑回归 115

第5章 K-NN算法 122
5.1 K-NN概述 122
5.2 K-NN分类算法 123
5.3 K-NN回归算法 124
5.4 K-NN的优缺点 125
5.5 K-NN工程范例 126

第6章 k-means 129
6.1 k-means概述 129
6.2 k-means核心算法 129
6.3 k-means算法的优缺点 131
6.4 k-means工程范例 132

第7章 朴素贝叶斯 135
7.1 朴素贝叶斯分类算法 135
7.2 朴素贝叶斯的实际应用 137

第8章 决策树和随机森林 141
8.1 决策树 141
8.2 随机森林 146

第9章 支持向量机 149
9.1 SVM可以做什么 149
9.2 SVM的数学表述 151
9.4 硬间隔SVM 174
9.5 软间隔SVM 177
9.6 核函数技巧 182
9.7 多分类SVM 187
9.8 SVM实践 193

第10章 PCA降维 196
10.1 降维概述 196
10.2 PCA降维实现原理 197
10.3 PCA实例 200

第11章 集成学习 202
11.1 集成学习概述 202
11.2 集成学习架构 203
11.3 典型的集成方法 206

深度学习进阶篇

第12章 深度神经网络 212
12.1 神经元 212
12.2 激活函数 214
12.4 损失函数 224

第13章 卷积神经网络 232
13.1 CNN发展历史简述 232
13.2 CNN的核心组成元素 233
13.3 CNN经典框架 237
13.4 CNN的典型特性 249

第14章 RNN与LSTM 256
14.1 RNN 256
14.2 RNN的多种形态 257
14.3 RNN存在的不足 258
14.4 LSTM 259
14.5 LSTM核心框架 259
14.6 GRU 263

第15章 深度强化学习 265
15.1 强化学习和MDP 265
15.2 MDP问题的解决方案分类 268
15.3 基于模型的动态规划算法 269
15.4 基于无模型的强化学习算法 272
15.5 DQN 278
15.6 基于策略的强化学习算法 280

第16章 MCTS 285
16.1 MCTS概述 285
16.2 MCTS算法核心处理过程 286
16.3 UCB和UCT 286
16.4 MCTS实例解析 288

机器学习应用实践及相关原理

第17章 数据集的建设 292
17.1 数据集建设的核心目标 292
17.2 数据采集和标注 294
17.3 数据分析和处理 299

第18章 CNN训练技巧 304
18.1 数据预处理 304
18.2 数据增强 308
18.3 CNN核心组件择优 309
18.4 参数初始化策略 310
18.5 模型过拟合解决方法 319
18.6 模型的可解释性 328
18.7 Auto ML 346

第19章 CV和视觉识别经典模型 348
19.1 CV发展简史 348
19.2 视觉识别概述 353
19.3 R-CNN 359
19.4 Fast R-CNN 364
19.5 SPP-Net 365
19.6 Faster R-CNN 368
19.7 YOLO 375
19.8 SSD 383
19.9 不基于CNN来实现目标识别 390

第20章 自然语言处理和CNN 397
20.1 NLP简述 397
20.2 NLP发展历史 399
20.3 自然语言基础 400
20.4 词的表达方式 403
20.5 自然语言模型 405
20.6 word2vec 416
20.6.1 word2vec简介 416
20.7 常用语料库 420
20.8 NLP应用：文本分类 424

第21章 自然语言处理和CNN 430
21.1 应用程序场景识别背景 430
21.2 特征向量 431
21.3 数据采集 432
21.4 算法模型 433
21.5 落地应用 433

第22章 软件自动修复 436
22.1 什么是软件自动修复 436
22.2 软件自动修复基础知识 437
22.3 阶段1：缺陷定位 441
22.4 阶段2：补丁生成 458
22.5 APR领域经典框架 462

第23章 基于强化学习的经典应用—AlphaGO 479
23.1 AlphaGO简述 479
23.2 AlphaGO核心原理 480
23.3 策略网络 481
23.4 估值网络 483
23.5 MCTS 483

机器学习平台篇

第24章 分布式机器学习框架基础知识 488
24.1 分布式机器学习核心理念 488
24.2 GPU硬件设备 491
24.3 网络标准 498
24.4 分布式通信框架 500
24.5 经典分布式ML框架Caffe-MPI 511

第25章 Tensorflow 514
25.1 Tensorflow安装过程 514
25.2 Tensorflow基础知识 516
25.3 Tensorflow分布式训练 533
25.4 Tensorflow分布式部署 549
25.5 Tensorflow范例解析 560
25.6 Tensorflow的“变种” 563

第26章 Caffe 568
26.1 Caffe的安装 568
26.2 Caffe支持的数据集格式 587
26.3 Caffe中的网络模型构建 594
26.4 Google Protocol Buffer 598
26.5 Caffe2源码结构 600
26.6 Caffe工程范例 601
26.7 Caffe中的Model Zoo 607

第27章 scikit-learn 609
27.1 scikit-learn的安装 610
27.2 scikit-learn中的机器学习算法 610
27.3 scikit-learn中的Model selection 613
27.4 scikit-learn中的预处理 619

第28章 主流AI云平台 628
28.1 Microsoft OpenPAI 628
28.2 Google Cloud 631
28.3 Baidu 631
28.4 Alibaba 637

第29章 图像处理基础 650
29.1 光、色彩和人类视觉系统 650
29.2 图像的颜色模型 653
29.3 图像的基本属性 655
29.4 图像特征 659
29.5 图像的典型特征描述子 661
29.6 图像处理实例(图像质量检测) 690

第30章 程序切片技术 693
30.1 程序切片综述 693
30.2 程序切片基础知识 695
30.3 静态切片技术 715
30.4 动态切片技术 721

第31章 业界主流数据集分析 726
31.1 ImageNet简述 726
31.2 ImageNet的构建逻辑 726
31.3 ImageNet数据源的选择与处理 730
31.4 ImageNet的下载 733

参考文献 736