人工智能：机器学习理论与方法

　　本书全面系统地讲解了机器学习的理论与方法，内容主要包括高斯混合模型和EM算法、主题模型、非参数贝叶斯模型、聚类分析、图模型、支持向量机、矩阵分解、深度学习及强化学习。本书旨在使读者了解机器学习的发展，理解和掌握它的基本原理、方法与主要应用。本书内容丰富，着重机器学习理论的推导与证明，并通过实例进行方法的分析与比较。同时，本书强调机器学习的系统性、完整性和时效性，可读性强。

　　李侃，教授，博士生导师，副所长。国家重点研发计划评审专家、国家863项目评审专家，北京市自然科学基金/重点基金评审专家、博士点基金/博士后基金评审专家，国际期刊NLPR主编，以及其它期刊的编委。在澳大利亚、加拿大、中国香港等国家、地区任职或学术研究。目前主要从事机器学习、模式识别及大数据分析方面的研究。主持了国家重点研发专项课题、国家973课题、863重大和和国家自然科学基金等多项***和部级项目，获得了多项国防科技进步奖和校科技成果一等奖等科研奖励。在TKDE等国内外期刊、IJCAI、ACM MM等学术会议上发表SCI/EI检索论文近百篇，发明专利20余项。出版了教育部和北京市精品教材、获得了全国高校人工智能与大数据教学创新奖、T-more优秀教师奖、迪文优秀教师奖、教学成果奖一等奖等教学奖励。

第1章绪论
1．1机器学习的定义
1．2机器学习的发展历史
1．3机器学习的分类
1．3．1基于学习系统的反馈分类
1．3．2基于所获取知识的表示形式分类
1．3．3按应用领域分类
1．3．4综合分类
1．4性能度量
1．4．1数据集
1．4．2误差
1．4．3过拟合与欠拟合
1．4．4评估方法
1．4．5性能度量指标
1．5本章小结
第2章EM算法和高斯模型
2．1EM算法
2．1．1极大似然估计
2．1．2EM算法的引入
2．1．3EM算法的推导
2．1．4EM算法的步骤
2．1．5EM算法的收敛性
2．2高斯模型
2．2．1单高斯模型
2．2．2高斯混合模型
2．2．3GMM参数估计
2．3本章小结
第3章主题模型
3．1传统的主题模型
3．1．1VSM模型
3．1．2LSI模型
3．2概率主题模型
3．2．1LDA主题模型
3．2．2HDP-LDA主题模型
3．3具有zipf定律性质的主题模型
3．3．1PY过程
3．3．2PHTM主题模型
3．4PHTM推理算法
3．4．1算法描述
3．4．2实验
3．5本章小结
第4章抽样与非参数贝叶斯方法
4．1单个随机变量抽样
4．1．1通过逆累积分布函数抽样
4．1．2拒绝抽样（Rejection Sampling）
4．1．3重要性抽样（Importance Sampling）
4．2序列随机变量抽样与马尔可夫链蒙特卡洛
4．2．1MH算法
4．2．2吉布斯抽样
4．2．3切片抽样（Slice Sampling）
4．3非参数贝叶斯模型与狄利克雷过程
4．3．1非参数贝叶斯模型
4．3．2狄利克雷过程
4．4狄利克雷过程的构造方式
4．4．1波利亚坛子过程
4．4．2折棍子过程
4．4．3中餐馆过程
4．5本章小结
第5章聚类分析
5．1数据相似性度量
5．2经典聚类算法
5．2．1划分算法
5．2．2层次聚类算法
5．2．3基于密度的聚类算法
5．2．4基于网格的聚类算法
5．2．5基于模型的聚类算法
5．3K均值算法、K中心点算法及其改进算法
5．3．1K均值算法
5．3．2K中心点算法
5．3．3核K均值算法
5．3．4EM聚类
5．3．5基于随机搜索应用于大型应用的聚类算法CLARANS
5．4谱聚类
5．4．1相似图
5．4．2拉普拉斯矩阵
5．4．3谱聚类算法
5．5基于约束的聚类
5．5．1含有障碍物的对象聚类
5．5．2用户约束的聚类分析
5．5．3半监督聚类分析
5．6在线聚类
5．7聚类与降维
5．8本章小结
第6章支持向量机
6．1统计学习理论
6．1．1经验风险最小化
6．1．2VC维
6．1．3结构风险最小化
6．2支持向量机的基本原理
6．3支持向量机分类器
6．3．1线性支持向量机分类器
6．3．2非线性可分的支持向量机分类器
6．3．3一类分类
6．3．4多类分类
6．4核函数
6．4．1核函数的定义
6．4．2核函数的构造
6．4．3几种常用的核函数
6．5支持向量回归机
6．6支持向量机的应用实例
6．6．1图像分类
6．6．2其他应用
6．7本章小结
第7章概率无向图模型
7．1概率无向图模型概述
7．2逻辑斯谛回归模型
7．2．1逻辑斯谛函数与分布
7．2．2极大似然估计模型参数
7．3最大熵模型
7．3．1最大熵原理
7．3．2最大熵模型概述
7．4条件随机场
7．4．1模型
7．4．2条件随机场的关键问题
7．5本章小结
第8章概率有向图模型
8．1概率有向图模型概述
8．2贝叶斯网络
8．2．1贝叶斯定理
8．2．2有向分离
8．2．3贝叶斯网络构造
8．2．4贝叶斯网络学习
8．3隐马尔可夫模型
8．3．1隐马尔可夫模型描述
8．3．2隐马尔可夫模型的三个基本问题
8．4本章小结
第9章矩阵与张量分解
9．1等值与低轶矩阵分解
9．2非负矩阵分解
9．3矩阵分解与推荐系统
9．4张量分解
9．5非负张量分解
9．6本章小结
第10章多层感知机
10．1感知机
10．2多层感知机概述
10．2．1误差反传算法
10．2．2多层感知机的优势和局限性
10．2．3BP算法的改进
10．3本章小结
第11章卷积神经网络
11．1卷积神经网络的生物学基础
11．2卷积神经网络的结构元件
11．2．1卷积层
11．2．2池化层
11．2．3激活层
11．2．4全连接层
11．3典型的卷积神经网络
11．3．1AlexNet
11．3．2VGG
11．3．3GoogLeNet
11．3．4ResNet
11．3．5DenseNet
11．4卷积神经网络的训练技巧
11．4．1批归一化
11．4．2随机失活
11．5本章小结
第12章循环神经网络
12．1循环神经网络结构
12．2循环神经网络的训练
12．2．1损失函数
12．2．2时间反向传播算法
12．2．3梯度消失与梯度爆炸
12．3双向循环神经网络与深度循环神经网络
12．4长短期记忆网络
12．4．1LSTM记忆单元
12．4．2LSTM 记忆方式
12．5门控循环单元
12．6本章小结
第13章强化学习
13．1强化学习模型及基本要素
13．1．1强化学习模型
13．1．2强化学习基本要素
13．2马尔可夫决策过程
13．2．1马尔可夫过程
13．2．2马尔可夫决策过程概述
13．3部分可观测的马尔可夫决策过程
13．4模型已知的强化学习
13．4．1线性规划
13．4．2策略迭代
13．4．3值迭代
13．4．4广义策略迭代
13．5模型未知的强化学习
13．5．1蒙特卡洛方法
13．5．2时间差分法
13．5．3Q学习与SARSA学习
13．5．4Actor-Critic学习
13．6基于逼近方法的强化学习
13．6．1值函数逼近的TD学习
13．6．2近似值迭代方法
13．6．3近似策略迭代
13．7深度强化学习
13．7．1深度Q学习（Deep Q-learning）
13．7．2深度双Q学习
13．7．3异步深度Q学习
13．7．4其他深度强化学习
13．8本章小结
参考文献