动手学机器学习

　　本书系统介绍了机器学习的基本内容及其代码实现，是一本着眼于机器学习教学实践的图书。 本书包含4个部分：第一部分为机器学习基础，介绍了机器学习的概念、数学基础、思想方法和简单的机器学习算法；第二部分为参数化模型，讲解线性模型、神经网络等算法；第三部分为非参数化模型，主要讨论支持向量机和决策树模型及其变种；第四部分为无监督模型，涉及聚类、降维、概率图模型等多个方面。本书将机器学习理论和实践相结合，以大量示例和代码带领读者走进机器学习的世界，让读者对机器学习的研究内容、基本原理有基本认识，为后续进一步涉足深度学习打下基础。 本书适合对机器学习感兴趣的专业技术人员和研究人员阅读，同时适合作为人工智能相关专业机器学习课程的教材。

　　张伟楠，上海交通大学副教授，博士生导师，ACM班机器学习、强化学习课程授课教师。主要研究强化学习、数据挖掘、知识图谱、深度学习以及这些技术在推荐系统、游戏智能、机器人控制等场景中的应用，累计发表国际期刊和会议论文180余篇。 赵寒烨，上海交通大学 APEX数据与知识管理实验室博士生，师从张伟楠副教授，研究方向为强化学习、机器学习。以一作身份在人工智能国际会议 NeurIPS上发表论文，并参与多本机器学习相关教材的编写。 俞勇，上海交通大学ACM班创办人，上海交通大学特聘教授。2018年创办伯禹人工智能学院，在上海交通大学ACM班人工智能专业课程体系的基础上，对人工智能课程体系进行创新，致力于培养人工智能算法工程师和研究员。

第 一部分 机器学习基础

第 1 章 初探机器学习 2

1 1 人工智能的“两只手和四条腿” 2

1 2 机器学习是什么          2

1 3 时代造就机器学习的盛行          4

1 4 泛化能力：机器学习奏效的本质 5

1 5 归纳偏置：机器学习模型的“天赋”        6

1 6 机器学习的限制          7

1 7 小结 7

第 2 章 机器学习的数学基础   8

2 1 向量 8

2 2 矩阵          10

2 2 1 矩阵的基本概念    10

2 2 2 矩阵运算  11

2 2 3 矩阵与线性方程组12

2 2 4 矩阵范数  13

2 3 梯度          14

2 4 凸函数       17

2 5 小结          19

第 3 章 k近邻算法  20

3 1 KNN算法的原理      20

3 2 用KNN算法完成分类任务      21

3 3 使用scikit-learn实现KNN算法         24

3 4 用KNN算法完成回归任务--色彩风格迁移         25

3 4 1 RGB空间与LAB空间      27

3 4 2 算法设计 27

3 5 小结          30

第 4 章 线性回归    33

4 1 线性回归的映射形式和学习目标           33

4 2 线性回归的解析方法 35

4 3 动手实现线性回归的解析方法  35

4 4 使用sklearn中的线性回归模型           37

4 5 梯度下降算法          38

4 6 学习率对迭代的影响 42

4 7 小结          44

第 5 章 机器学习的基本思想 46

5 1 欠拟合与过拟合        46

5 2 正则化约束 49

5 3 输入特征与相似度    52

5 4 参数与超参数          55

5 5 数据集划分与交叉验证          56

5 6 小结          57

5 7 扩展阅读：贯穿恒等式的证明  58

5 8 参考文献    58

 

第二部分 参数化模型

第 6 章 逻辑斯谛回归          60

6 1 逻辑斯谛函数下的线性模型     61

6 2 最大似然估计          62

6 3 分类问题的评价指标 64

6 4 动手实现逻辑斯谛回归          69

6 5 使用sklearn中的逻辑斯谛回归模型     73

6 6 交叉熵与最大似然估计          74

6 7 小结          76

6 8 扩展阅读：广义线性模型       78

6 9 参考文献    79

第 7 章 双线性模型 80

7 1 矩阵分解     81

7 2 动手实现矩阵分解模型           83

7 3 因子分解机 86

7 4 动手实现因子分解机模型       89

7 5 小结          92

7 6 扩展阅读：概率矩阵分解        93

7 7 参考文献    95

第 8 章 神经网络与多层感知机          96

8 1 人工神经网络           96

8 2 感知机       97

8 3 隐含层与多层感知机 99

8 4 反向传播  102

8 5 动手实现多层感知机           104

8 6 用PyTorch库实现多层感知机           110

8 7 小结         113

8 8 参考文献   114

第 9 章 卷积神经网络         115

9 1 卷积          115

9 2 神经网络中的卷积   117

9 3 用卷积神经网络完成图像分类任务       119

9 4 用预训练的卷积神经网络完成色彩风格迁移        126

9 4 1  VGG网络         126

9 4 2  内容表示与风格表示      127

9 5 小结        134

9 6 扩展阅读：数据增强           134

9 7 参考文献  136

第 10 章 循环神经网络        137

10 1 循环神经网络的基本原理    137

10 2 门控循环单元       139

10 3 动手实现GRU     141

10 4 小结       146

10 5 参考文献 147

 

第三部分 非参数化模型

第 11 章 支持向量机           150

11 1 支持向量机的数学描述        150

11 2 序列最小优化       153

11 3 动手实现SMO求解SVM 156

11 4 核函数    158

11 5 sklearn中的SVM工具    162

11 6 小结       163

11 7 扩展阅读：SVM对偶问题的推导     164

第 12 章 决策树     167

12 1 决策树的构造       168

12 2 ID3算法与C4 5算法        171

12 3 CART算法         172

12 4 动手实现C4 5算法的决策树          175

12 4 1  数据集处理      175

12 4 2  C4 5算法的实现         178

12 5 sklearn中的决策树         182

12 6 小结       183

12 7 参考文献 184

第 13 章 集成学习与梯度提升决策树    185

13 1 自举聚合与随机森林          186

13 2 集成学习器           191

13 3 提升算法 194

13 3 1  适应提升           195

13 3 2  梯度提升         200

13 4 小结       205

13 5 参考文献 206

 

第四部分 无监督模型

第 14 章 k均值聚类          208

14 1 k均值聚类算法的原理        208

14 2 动手实现k均值算法          209

14 3 k-means++算法           212

14 4 小结       214

14 5 参考文献 215

第 15 章主成分分析           216

15 1 主成分与方差       216

15 2 利用特征分解进行PCA     218

15 3 动手实现PCA算法          221

15 4 用sklearn实现PCA算法222

15 5 小结       223

第 16 章 概率图模型           225

16 1 贝叶斯网络          226

16 2 最大后验估计       228

16 3 用朴素贝叶斯模型完成文本分类       231

16 4 马尔可夫网络       234

16 5 用马尔可夫网络完成图像去噪          236

16 6 小结       240

16 7 参考文献 241

第 17 章 EM算法 242

17 1 高斯混合模型的EM算法    243

17 2 动手求解GMM来拟合数据分布      245

17 3 一般情况下的EM算法      251

17 4 EM算法的收敛性 253

17 5 小结       254

第 18 章 自编码器  255

18 1 自编码器的结构    256

18 2 动手实现自编码器 257

18 3 小结       262

18 4 参考文献 262

总结与展望264

总结    264

展望    264

中英文术语对照表    267