机器学习

　　机器学习是人工智能的重要技术基础，涉及的内容十分广泛。本书内容涵盖了机器学习的基础知识，主要包括机器学习的概论、统计学习基础、分类、聚类、神经网络、贝叶斯网络、支持向量机、进化计算、文本分析等经典的机器学习理论知识，也包括用于大数据机器学习的分布式机器学习算法、深度学习和加强学习等高等级内容。此外，还介绍了机器学习的热门应用领域推荐技术，并给出了华为机器学习平台上的实验。本书深入浅出、内容全面、案例丰富，每章后都有习题和参考文献，便于学生巩固学习，适用于高等院校本科生、研究生机器学习、数据分析、数据挖掘等课程的教材，也可作为对机器学习感兴趣的研究人员和工程技术人员的参考资料。

　　2001年4月毕业于东南大学，获博士学位。2001年6月起在复旦大学管理科学与工程博士后流动站工作。2003年5月进入复旦大学软件学院，主要负责本科生和各类研究生电子商务、大数据核心技术和商务智能等课程的教学，2011年纽约大学Stern商学院访问学者。商务智能被评为上海市精品课程，获得2013年高等教育上海市教学成果奖二等奖。发表论文90多篇，其中被SCI、EI收录40多篇。出版专著及教材10多部。获得上海市2015年上海市科技进步二等奖。

序言
第 一章 机器学习概述 1
1．1 机器学习简介 1
1．1．1 机器学习简史 1
1．1．2 机器学习主要流派 2
1．2 机器学习、人工智能和数据挖掘 4
1．2．1 什么是人工智能 4
1．2．2 机器学习、人工智能与数据挖掘 5
1．3 典型机器学习应用领域 5
1．4 机器学习算法 12
1．5 机器学习的一般流程 20
第 二章 机器学习基本方法 23
2．1 统计分析 23
2．1．1 统计基础 23
2．1．2 常见概率分布 29
2．1．3 参数估计 31
2．1．4 假设检验 33
2．1．5 线性回归 33
2．1．6 Logistics回归 37
2．1．7 判别分析 38
2．1．8 非线性模型 39
2．2 高维数据降维 40
2．2．1 主成分分析 40
2．2．2 线性判别分析 43
2．2．3 局部线性嵌入 47
2．3 特征工程 48
2．3．1 特征构造 48
2．3．2 特征选择 49
2．3．3 特征提取 50
2．4 模型训练 50
2．4．1 模型训练常见术语 50
2．4．2 训练数据收集 51
2．5 可视化分析 52
2．5．1 可视化分析的作用 52
2．5．2 可视化分析方法 53
2．5．3 可视化分析常用工具 54
2．5．4 常见的可视化图表 56
2．5．5 可视化分析面临的挑战 62
第三章 决策树与分类算法 64
3．1 决策树算法 64
3．1．1 分支处理 66
3．1．2 连续属性离散化 72
3．1．3 过拟合问题 74
3．1．4 分类效果评价 78
3．2 集成学习 83
3．2．1 装袋法 83
3．2．2 提升法 84
3．2．3 GBDT 86
3．2．4 随机森林 87
3．3 决策树应用 89
第四章 聚类分析 95
4．1 聚类分析概念 95
4．1．1 聚类方法分类 95
4．1．2 良好聚类算法的特征 97
4．2 聚类分析的度量 97
4．2．1 外部指标 98
4．2．2 内部指标 99
4．3 基于划分的方法 101
4．3．1 k-均值算法 101
4．3．2 k-medoids算法 106
4．3．3 k-prototype算法 107
4．4 基于密度聚类 107
4．4．1 DBSCAN算法 108
4．4．2 OPTICS算法 110
4．4．3 DENCLUE算法 111
4．5 基于层次的聚类 116
4．5．1 BIRCH聚类 117
4．5．2 CURE算法 120
4．6 基于网格的聚类 122
4．7 基于模型的聚类 123
4．7．1 概率模型聚类 123
4．7．2 模糊聚类 129
4．7．3 Kohonen神经网络聚类 129
第五章 文本分析 137
5．1 文本分析介绍 137
5．2 文本特征提取及表示 138
5．2．1 TF-IDF 138
5．2．2 信息增益 139
5．2．3 互信息 139
5．2．4 卡方统计量 140
5．2．5 词嵌入 141
5．2．6 语言模型 142
5．2．7 向量空间模型 144
5．3 知识图谱 146
5．3．1 知识图谱相关概念 147
5．3．2 知识图谱的存储 147
5．3．3 知识图谱挖掘与计算 148
5．3．4 知识图谱的构建过程 150
5．4 词法分析 155
5．4．1 文本分词 156
5．4．2 命名实体识别 159
5．4．3 词义消歧 160
5．5 句法分析 161
5．6 语义分析 163
5．7 文本分析应用 164
5．7．1 文本分类 164
5．7．2 信息抽取 167
5．7．3 问答系统 168
5．7．4 情感分析 169
5．7．5 自动摘要 171
第六章 神经网络 173
6．1 神经网络介绍 173
6．1．1 前馈神经网络 173
6．1．2 反馈神经网络 176
6．1．3 自组织神经网络 179
6．2 神经网络相关概念 180
6．2．1 激活函数 180
6．2．2 损失函数 184
6．2．3 学习率 185
6．2．4 过拟合 188
6．2．5 模型训练中的问题 189
6．2．6 神经网络效果评价 192
6．3 神经网络应用 192
第七章 贝叶斯网络 197
7．1 贝叶斯理论概述 197
7．1．1 贝叶斯方法的基本观点 197
7．1．2 贝叶斯网络的应用 198
7．2 贝叶斯概率基础 198
7．2．1 概率论 198
7．2．2 贝叶斯概率 199
7．3 朴素贝叶斯分类模型 200
7．4 贝叶斯网络 203
7．5 贝叶斯网络的应用 209
7．5．1 中文分词 210
7．5．2 机器翻译 210
7．5．3 故障诊断 211
7．5．4 疾病诊断 211
第八章 支持向量机 215
8．1 支持向量机模型 215
8．1．1 核函数 215
8．1．2 模型原理分析 216
8．2 支持向量机应用 219
第九章 进化计算 226
9．1 遗传算法的基础 226
9．1．1 基因重组（交叉）与基因突变 227
9．1．2 遗传算法实现技术 228
9．1．3 遗传算法案例 234
9．2 蚁群算法 237
9．2．1 蚁群算法应用案例 238
9．3 蜂群算法简介 239
9．3．1 蜂群算法应用案例 241
第十章 分布式机器学习 245
10．1 分布式机器学习基础 245
10．1．1 参数服务器 245
10．1．2 分布式并行计算类型 246
10．2 分布式机器学习框架 247
10．3 并行决策树 254
10．4 并行k-均值算法 255
第十一章 深度学习 258
11．1 卷积神经网络 258
11．1．1 卷积神经网络的整体结构 259
11．1．2 常见卷积神经网络 262
11．2 循环神经网络 271
11．2．1 RNN基本原理 271
11．2．2 长短期记忆网络 274
11．2．3 门限循环单元 277
11．3 深度学习流行框架 278
第十二章 高等级深度学习 281
12．1 高等级卷积神经网络 281
12．1．1 目标检测与追踪 281
12．1．2 目标分割 295
12．2 高等级循环神经网络应用 301
12．2．1 Encoder-Decoder模型 301
12．2．2 注意力模型 301
12．2．3 LSTM高等级应用 302
12．3 无监督式深度学习 307
12．3．1 深度信念网络 307
12．3．2 自动编码器网络 309
12．3．3 生成对抗网络模型 312
12．4 强化学习 316
12．4．1 增强学习基础 316
12．4．2 深度增强学习 318
12．5 迁移学习 321
12．6 对偶学习 324
第十三章 推荐系统 327
13．1 推荐系统介绍 327
13．1．1 推荐系统的应用场景 327
13．2 推荐系统通用模型 329
13．2．1 推荐系统结构 329
13．2．2 基于内容的推荐 330
13．2．3 基于协同过滤的推荐算法 331
13．2．4 基于图的模型 334
13．2．5 基于关联规则的推荐 335
13．2．6 基于知识的推荐 341
13．2．7 基于标签的推荐 342
13．3 推荐系统评测 343
13．3．1 评测方法 343
13．3．2 评测指标 345
13．4 推荐系统常见问题 349
13．4．1 冷启动问题 349
13．4．2 推荐系统注意事项 351
13．5 推荐系统实例 352
第十四章 实验 364
14．1 华为FusionInsight产品平台介绍 364
14．2 银行定期存款业务预测 365
14．2．1 上传银行客户及存贷款数据 366
14．2．2 准备存款业务分析工作区 367
14．2．3 创建数据挖掘流程 368
14．2．4 定期存款业务模型保存和应用 375
14．3 客户分群 378
14．3．1 分析业务需求 379
14．3．2 上传客户信息数据 381
14．3．3 准备客户分群工作区 382
14．3．4 创建数据挖掘流程 383
14．3．5 客户分群模型保存和应用 392