走进人工智能：机器学习原理解析与应用

　　当前，人工智能正在改变世界，人工智能已经上升至国家战略高度，面对人工智能在教育界掀起的层层浪花，本书针对人工智能知识谱系庞杂的问题，聚集人工智能教育在阶段性教育中出现的断层现象，基于信息技术学科教育教学研究实践，以机器学习K近邻、决策树、随机森林、支持向量机、神经网络等18个经典的算法原理解析和具体应用为切入点，以Python编程IDE为操作工具，通过理论阐释、案例分析、编程实践，带领读者拨开迷雾，明晰路径，体验机器学习算法的奇妙，领略人工智能科学的精妙，获取人工智能“学什么、怎么学、怎么用”的方法。 本书内容包括概述、分类、回归、聚类、关联分析、数据预处理和人工神经网络等内容。算法原理解析中所涉及的教学等晦涩内容都以知识窗的形式一一讲解，表述通俗易懂；算法具体应用中的案例典型生动，编程代码具体详细，力求让人工智能思想落地，直观地展现于读者面前。 本书主要面向基础教育阶段信息技术学科教师、高中学生以及计算机相关专业的大中专学生和对人工智能领域感兴趣的大众读者，也可作为人工智能课程的学习材料。

　　宁可为，博士，硕士研究生导师，乌鲁木齐市教育研究中心信息技术教研员、曾任乌鲁木齐市信息技术名师工作室主持人。主要研究方向为：中小学信息技术教育、计算机支持的协作学习（CSCL）。近年来在国内核心期刊发表论文多篇，主持并参与省部级科研项目多项。精通C、C#、Java等多种高级程序设计语言，在软件开发方面有丰富的产品开发经验。

第一部分 概 述

第1 章 人工智能基础  2

1. 1 人工智能  2

1. 1. 1 人工智能的由来  2

1. 1. 2 人工智能学科  3

1. 2 机器学习  6

1. 2. 1 机器学习简介  6

1. 2. 2 机器学习的类别  7

1. 2. 3 机器学习的应用  9

本章小结  10

第2 章 Python 环境搭建11

2. 1 软件的下载与安装  11

2. 1. 1 平台一：海龟编辑器  11

2. 1. 2 平台二： PyCharm  13

2. 2 必需库功能简介  20

2. 2. 1 numpy——基础科学计算库  20

2. 2. 2 SciPy——科学计算工具集  22

2. 2. 3 Pandas——数据分析利器  23

2. 2. 4 matplotlib——图形绘制法宝  26

IV 走进人工智能——机器学习原理解析与应用

2. 2. 5 Sklearn——机器学习神器  28

本章小结  30

第二部分 分 类

第3 章 K 近邻算法 33

3. 1 K 近邻算法的原理  33

3. 2 K 近邻算法的应用  37

3. 2. 1 K 近邻算法的常用参数  37

3. 2. 2 应用案例一：小说分类  37

3. 2. 3 应用案例二：糖尿病诊断  39

3. 3 K 近邻算法的特点  40

本章小结  41

第4 章 决策树  42

4. 1 决策树的原理  42

4. 1. 1 决策树的分类过程  42

4. 1. 2 决策树的具体组成  43

4. 1. 3 构建决策树的相关概念  44

4. 2 决策树的构建  47

4. 2. 1 建树  47

4. 2. 2 剪枝  49

4. 3 决策树的应用  50

4. 3. 1 环境补充搭建  50

4. 3. 2 决策树的常用参数  50

4. 3. 3 应用案例：影院会员观影喜好分析  51

4. 4 决策树的特点  53

本章小结  53

第5 章 随机森林  54

5. 1 随机森林的原理  54

5. 1. 1 集成学习  54

5. 1. 2 随机森林的分类过程  55

目录V

5. 2 随机森林的构建  57

5. 2. 1 训练样本随机采样  58

5. 2. 2 样本特征随机选择  59

5. 3 随机森林的应用  59

5. 3. 1 环境补充搭建  59

5. 3. 2 RandomForestClassifier 类  60

5. 3. 3 应用案例一：红酒分类——决策树与随机森林分类器效果对比  60

5. 3. 4 应用案例二：影院会员观影喜好分析  61

5. 4 随机森林的特点  67

本章小结  68

第6 章 支持向量机  69

6. 1 支持向量机的逻辑原理  69

6. 2 支持向量机的数学原理解析  71

6. 2. 1 线性可分的情况  71

6. 2. 2 近似线性可分的情况  73

6. 2. 3 线性不可分的情况  74

6. 3 支持向量机中的核函数  76

6. 3. 1 支持向量机中常用核函数介绍  77

6. 3. 2 支持向量机中核函数的应用  78

6. 4 支持向量机的应用  80

6. 4. 1 SVM 类的常用参数  80

6. 4. 2 应用案例：情绪分类  80

本章小结  84

第7 章 贝叶斯算法  85

7. 1 贝叶斯算法的原理  85

7. 1. 1 贝叶斯公式  85

7. 1. 2 贝叶斯算法的原理（以朴素贝叶斯算法为例）  89

7. 1. 3 贝叶斯算法的类别  90

7. 2 贝叶斯算法的应用  91

7. 2. 1 调用方法  91

7. 2. 2 应用案例：识别毒蘑菇  91

VI 走进人工智能——机器学习原理解析与应用

7. 3 贝叶斯算法的特点  93

本章小结  94

第三部分 回 归

第8 章 线性回归  97

8. 1 一元线性回归的原理  98

8. 2 一元线性回归的应用  100

8. 2. 1 LinearRegression 类的常用参数  100

8. 2. 2 应用案例：房屋翻修成本预测  101

8. 3 多元线性回归的原理  103

8. 4 多元线性回归的应用  105

8. 5 线性回归算法的特点  107

本章小结  108

第9 章 多项式回归  109

9. 1 一元多项式回归的原理  110

9. 2 一元多项式回归的应用  114

9. 2. 1 PolynomialFeatures 类的常用参数  114

9. 2. 2 应用案例：红酒价值预测  114

9. 3 多元多项式回归的原理  117

9. 4 多元多项式回归的应用  119

9. 5 多项式回归的特点  120

本章小结  120

第10 章 LASSO 回归与岭回归  122

10. 1 L1 范数正则化——LASSO 回归  123

10. 1. 1 LASSO 回归中的alpha 参数调节  125

10. 1. 2 LASSO 类的常用参数  125

10. 1. 3 应用案例：对糖尿病数据集进行拟合  126

10. 2 L2 范数正则化——岭回归  130

10. 2. 1 岭回归中的alpha 参数调节  131

10. 2. 2 Ridge 类的常用参数  132

目录VII

10. 2. 3 应用案例：对糖尿病数据集进行拟合  132

10. 3 LASSO 回归与岭回归的异同  137

10. 3. 1 LASSO 回归与岭回归的共同点  137

10. 3. 2 LASSO 回归与岭回归的区别  137

本章小结  137

第11 章 逻辑回归 138

11. 1 逻辑回归的原理  139

11. 2 逻辑回归的应用  143

11. 2. 1 逻辑回归算法的常用参数  143

11. 2. 2 应用案例：鸢尾花分类  144

11. 3 逻辑回归实现多分类的原理  145

11. 3. 1 OVR/A（One Vs Rest/All）  146

11. 3. 2 OVO（One Vs One）  147

11. 4 多分类逻辑回归的应用  148

11. 5 逻辑回归的特点  150

本章小结  150

第12 章 模型评估与优化 152

12. 1 交叉验证  152

12. 1. 1 K 折交叉验证的原理  154

12. 1. 2 交叉验证法的具体应用  155

12. 1. 3 留一交叉验证法  157

12. 2 分类模型的可信度评估  158

12. 2. 1 混淆矩阵  159

12. 2. 2 分类系统的评价指标  160

12. 2. 3 应用案例：识别乳腺癌  162

12. 3 回归模型的可信度评估  163

12. 3. 1 平均绝对误差  164

12. 3. 2 均方误差  164

12. 3. 3 均方根误差  165

12. 3. 4 R2  166

12. 3. 5 应用案例：波士顿房价预测  166

12. 4 超参数调优  168

VIII 走进人工智能——机器学习原理解析与应用

12. 4. 1 简单网格搜索来寻找超参数  168

12. 4. 2 与交叉验证结合的网格搜索  170

本章小结  172

第四部分 聚 类

第13 章 物以类聚：K 均值聚类  175

13. 1 K 均值算法的原理  175

13. 1. 1 K 均值算法的基本思想  176

13. 1. 2 算法基本过程  177

13. 2 K 均值算法的应用  178

13. 2. 1 KMeans 类的常用参数  178

13. 2. 2 应用案例一：鸢尾花的聚类  179

13. 2. 3 应用案例二：甜西瓜的由来（一）  181

13. 3 K 均值算法的特点  184

本章小结  184

第14 章 DBSCAN 聚类 185

14. 1 DBSCAN 算法的原理  186

14. 1. 1 DBSCAN 算法的核心概念  186

14. 1. 2 DBSCAN 算法的基本过程  187

14. 2 DBSCAN 算法的应用  189

14. 2. 1 DBSCAN 类的常用参数  189

14. 2. 2 应用案例一：小涛的问题  190

14. 2. 3 应用案例二：甜西瓜的由来（二）  191

14. 3 DBSCAN 算法的特点  193

本章小结  193

第五部分 关 联 分 析

第15 章 Apriori 算法 196

15. 1 Apriori 算法的原理  196

15. 1. 1 关联分析中的相关概念  196

目录IX

15. 1. 2 Apriori 算法的原理  197

15. 2 Apriori 算法的应用  201

15. 2. 1 Apriori 类的常用参数  201

15. 2. 2 应用案例一：货架调整  201

15. 2. 3 应用案例二：餐厅菜品  203

15. 3 Apriori 算法的特点  206

本章小结  206

第六部分 数据预处理

第16 章 数据归一与标准化 209

16. 1 数据归一化与标准化的必要性  209

16. 2 数据归一化  210

16. 2. 1 离差法过程  210

16. 2. 2 均值归一化过程  211

16. 2. 3 数据归一化的应用  211

16. 3 数据标准化  213

16. 3. 1 数据标准化过程  214

16. 3. 2 数据标准化的应用  214

16. 4 数据预处理实例  216

本章小结  219

第17 章 神奇的工具PCA 220

17. 1 PCA 算法的基本原理  221

17. 1. 1 PCA 的简单理解  221

17. 1. 2 向量投影与内积  222

17. 1. 3 PCA——选择最优的基  224

17. 1. 4 PCA 的基本过程  227

17. 2 PCA 算法的应用  229

17. 2. 1 PCA 类的常用参数  229

17. 2. 2 应用案例一：对鸢尾花进行PCA 降维  229

17. 3 PCA 算法的特点  231

本章小结  231

X 走进人工智能——机器学习原理解析与应用

第七部分 人工神经网络

第18 章 自主学习—— MLP 算法  234

18. 1 人工神经网络的发展简史  234

18. 2 单层感知机  236

18. 3 多层感知机  240

18. 3. 1 MLP 的基本原理  240

18. 3. 2 MLP 前向传播  242

18. 3. 3 MLP 后向传播  245

18. 3. 4 梯度下降  248

18. 4 MLP 算法的应用  253

18. 4. 1 MLPClassifier 类的常用参数  253

18. 4. 2 应用案例一：一起去游乐场  254

18. 4. 3 应用案例二：图片文字识别  256

18. 5 MLP 算法的特点  259

本章小结  259