机器学习的数学原理和算法实践

　　零基础读者应如何快速入门机器学习？数学基础薄弱的读者应如何理解机器学习中的数学原理？这些正是本书要解决的问题。本书从数学基础知识入手，通过前3章的介绍，帮助读者轻松复习机器学习涉及的数学知识；然后，通过第4-第13章的介绍，逐步讲解机器学习常见算法的相关知识，帮助读者快速入门机器学习；最后，通过第14章的综合实践，帮助读者回顾本书内容，进一步巩固所学知识。《机器学习的数学原理和算法实践》适合对机器学习感兴趣但数学基础比较薄弱的读者学习，也适合作为相关专业的学生入门机器学习的参考用书。

　　大威，本名张威，西安交通大学工科试验班（工管贯通班）硕士毕业，信息系统项目管理师（高级资质）、高级经济师、中国计算机学会会员、中国通信学会会员。拥有多年数据建模、数据挖掘与商业咨询经验，现就职于某行业领先的大数据公司，负责大数据产品及人工智能产品的规划设计管理工作。

第 1章　补基础：不怕学不懂微积分　1
1．1　深入理解导数的本质　2
1．1．1　哲学层面理解变化　2
1．1．2　生活中处处有函数　3
1．1．3　从瞬时速度到导数　3
1．1．4　从近似运动来理解导数　4
1．1．5　直观理解复合函数求导　6
1．2　理解多元函数偏导　7
1．2．1　多元函数偏导数是什么　7
1．2．2　搞清楚梯度是什么　7
1．3　理解微积分　8
1．3．1　直观理解积分　8
1．3．2　直观理解微积分基本定理　10
1．4　泰勒公式太重要了　11
1．4．1　泰勒公式是什么　11
1．4．2　泰勒公式的典型应用　11
1．4．3　直观理解泰勒公式的来龙去脉　12
1．4．4　微积分基本定理与泰勒公式的关系　14
第 2章　补基础：不怕学不懂线性代数　15
2．1　直观理解向量　16
2．1．1　理解向量加法与数乘　17
2．1．2　理解向量乘法的本质　19
2．1．3　理解基向量与线性无关　21
2．2　直观理解矩阵　22
2．2．1　理解矩阵运算规则　22
2．2．2　理解矩阵向量乘法的本质　24
2．2．3　深刻理解矩阵乘法的本质　29
2．3　理解线性方程组求解的本质　30
2．3．1　直观理解方程组的解　31
2．3．2　如何寻找解的表达式　34
2．3．3　深刻理解逆矩阵的本质　36
2．3．4　直观理解行列式的本质　40
2．4　彻底理解最小二乘法的本质　42
2．4．1　如何求解无解的方程组　43
2．4．2　论证 n 维子空间上的情况　48
2．4．3　搞懂施密特正交化是什么　50
2．4．4　理解最小二乘法的本质　53
2．5　直观理解相似矩阵对角化　54
2．5．1　相似矩阵是什么　55
2．5．2　如何理解特征值与特征向量　59
2．5．3　直观理解相似矩阵的对角化　62
第3章　补基础：不怕学不懂概率统计　64
3．1　什么是概率　64
3．1．1　最简单的概率的例子　64
3．1．2　概率论与数理统计的关系　65
3．2　搞懂大数定律与中心极限定理　65
3．2．1　大数定律想表达什么　65
3．2．2　中心极限定理想表达什么　67
3．2．3　大数定律与中心极限定理的区别　70
3．3　理解概率统计中的重要分布　70
3．3．1　真正搞懂正态分布　70
3．3．2　真正搞懂泊松分布　74
3．4　理解朴素贝叶斯思想很重要　75
3．4．1　如何理解条件概率　75
3．4．2　如何理解贝叶斯公式　76
3．4．3　贝叶斯公式的应用　76
3．4．4　最大似然估计　77
第4章　全景图：机器学习路线图　79
4．1　通俗讲解机器学习是什么　79
4．1．1　究竟什么是机器学习　79
4．1．2　机器学习的分类　81
4．2　机器学习所需环境介绍　82
4．2．1　Python的优势　83
4．2．2　Python下载、安装及使用　83
4．3　跟着例子熟悉机器学习全过程　84
4．4　准备数据包括什么　87
4．4．1　数据采集　87
4．4．2　数据清洗　88
4．4．3　不均衡样本处理　88
4．4．4　数据类型转换　89
4．4．5　数据标准化　90
4．4．6　特征工程　90
4．5　如何选择算法　92
4．5．1　单一算法模型　92
4．5．2　集成学习模型　92
4．5．3　算法选择路径　96
4．6　调参优化怎么处理　97
4．6．1　关于调参的几个常识　97
4．6．2　模型欠拟合与过拟合　98
4．6．3　常见算法调参的内容　98
4．6．4　算法调参的实践方法　99
4．7　如何进行性能评估　100
4．7．1　回归预测性能度量　100
4．7．2　分类任务性能度量　100
第5章　数据降维：深入理解PCA的来龙去脉　102
5．1　PCA是什么　103
5．2　用一个例子来理解PCA过程　103
5．3　如何寻找降维矩阵P　106
5．4　PCA降维的核心思想　107
5．4．1　核心思想一：基变换向量投影　108
5．4．2　核心思想二：协方差归零投影　112
5．4．3　核心思想三：最大方差投影　114
5．4．4　PCA降维的关键：协方差矩阵对角化　116
5．5　面向零基础读者详解PCA降维　116
5．5．1　计算矩阵 Y 的协方差矩阵 Cy　116
5．5．2　矩阵 Y 的协方差矩阵 Cy 对角化　118
5．5．3　求解降维矩阵 P　120
5．6　编程实践：手把手教你写代码　122
5．6．1　背景任务介绍：鸢尾花数据降维　122
5．6．2　代码展示：手把手教你写　123
5．6．3　代码详解：一步一步讲解清楚　123
第6章　凸优化核心过程：真正搞懂梯度下降过程　126
6．1　通俗讲解凸函数　126
6．1．1　什么是凸集　126
6．1．2　什么是凸函数　127
6．1．3　机器学习“热爱”凸函数　128
6．2　通俗讲解梯度下降　128
6．2．1　梯度是什么　130
6．2．2　梯度下降与参数求解　130
6．2．3　梯度下降具体过程演示　131
6．3　编程实践：手把手教你写代码　132
6．3．1　一元函数的梯度下降　132
6．3．2　多元函数的梯度下降　137
第7章　搞懂算法：线性回归是怎么回事　142
7．1　什么是线性回归　142
7．2　线性回归算法解决什么问题　143
7．3　线性回归算法实现过程　143
7．4　编程实践：手把手教你写代码　146
7．4．1　背景任务介绍：预测房价情况　146
7．4．2　代码展示：手把手教你写　147
7．4．3　代码详解：一步一步讲解清楚　147
第8章　搞懂算法：逻辑回归是怎么回事　150
8．1　如何理解逻辑回归　150
8．2　逻辑回归算法实现过程　151
8．3　编程实践：手把手教你写代码　155
8．3．1　背景任务介绍：用逻辑回归分类预测肿瘤　155
8．3．2　代码展示：手把手教你写　155
8．3．3　代码详解：一步一步讲解清楚　156
第9章　搞懂算法：决策树是怎么回事　159
9．1　典型的决策树是什么样的　159
9．2　决策树算法的关键是什么　160
9．3　信息、信息量与信息熵　161
9．4　信息增益的计算过程　163
9．5　剪枝处理是怎么回事　167
9．6　编程实践：手把手教你写代码　167
9．6．1　背景任务介绍：用决策树分类预测乳腺癌　167
9．6．2　代码展示：手把手教你写　167
9．6．3　代码详解：一步一步讲解清楚　168
第 10章　搞懂算法：支持向量机是怎么回事　171
10．1　SVM有什么用　171
10．2　SVM算法原理和过程是什么　172
10．2．1　分离超平面是什么　172
10．2．2　间隔与支持向量是什么　175
10．3　编程实践：手把手教你写代码　180
10．3．1　背景任务介绍：用SVM分类预测乳腺癌　180
10．3．2　代码展示：手把手教你写　180
10．3．3　代码详解：一步一步讲解清楚　181
第 11章　搞懂算法：聚类是怎么回事　184
11．1　聚类算法介绍　184
11．1．1　聚类是什么　184
11．1．2 　聚类算法应用场景　185
11．2　通俗讲解聚类算法过程　186
11．2．1　相似度如何度量　186
11．2．2　聚类性能如何度量　188
11．2．3　具体算法介绍：K-means算法　188
11．2．4　具体算法介绍：K-means++算法　189
11．3　编程实践：手把手教你写代码　191
11．3．1　背景任务介绍：手写数字图像聚类　191
11．3．2　代码展示：手把手教你写　191
11．3．3　代码详解：一步一步讲解清楚　193
第 12章　搞懂算法：朴素贝叶斯是怎么回事　195
12．1　朴素贝叶斯是什么　195
12．1．1　条件概率是什么　195
12．1．2　贝叶斯公式是什么　195
12．2　朴素贝叶斯实现方法　196
12．2．1　伯努利朴素贝叶斯方法　196
12．2．2　高斯朴素贝叶斯方法　198
12．2．3　多项式朴素贝叶斯方法　199
12．3　编程实践：手把手教你写代码　200
12．3．1　背景任务介绍：朴素贝叶斯分类预测文本类别　200
12．3．2　代码展示：手把手教你写　201
12．3．3　代码详解：一步一步讲解清楚　201
第 13章　搞懂算法：神经网络是怎么回事　205
13．1　从一个具体任务开始：识别数字　206
13．2　理解神经元是什么　207
13．2．1　感知器是什么　207
13．2．2　S型神经元是什么　208
13．3　理解典型神经网络多层感知器　210
13．3．1　神经网络结构是什么　210
13．3．2　搞懂MLP的工作原理是什么　211
13．4　MLP的代价函数与梯度下降　216
13．4．1　代价函数：参数优化的依据　216
13．4．2　梯度下降法：求解代价函数最小值　217
13．5　反向传播算法的本质与推导过程　219
13．5．1　反向传播算法：神经网络的训练算法　219
13．5．2　寻根究底：搞懂反向传播算法的数学原理　221
13．6　编程实践：手把手教你写代码　224
13．6．1　通过代码深入理解反向传播算法　224
13．6．2　一个简单的神经网络分类算法实践　227
第 14章　综合实践：模型优化的经验技巧　230
14．1　经验技巧一：特征处理　230
14．1．1　特征提取：文本数据预处理　230
14．1．2　特征选择：筛选特征组合　234
14．2　经验技巧二：模型配置优化　235
14．2．1　模型配置优化方法：交叉验证　235
14．2．2　模型配置优化方法：超参数搜索　237
14．3　编程实践：手把手教你写代码　239
14．3．1　背景任务介绍：乳腺癌分类预测多模型对比演示　240
14．3．2　算法介绍：本案例算法简介　240
14．3．3　代码展示：手把手教你写　241
14．3．4　代码详解：一步一步讲解清楚　244
14．4　经验总结：机器学习经验之谈　252
14．4．1　机器学习中的误区　252
14．4．2　如何学好机器学习　253