深度学习原理与应用

　　本书系统性地介绍了深度学习的原理、关键技术及相关应用，首先从基本概念、必备的线性代数、微积分、概率统计等数学知识等入手，这些预备知识可帮助读者更好地理解深度学习技术。接着对深度学习方法和技术进行了详细介绍，包括卷积神经网络、反馈神经网络、循环神经网络、生成对抗网络等，针对每个技术都力图用简单易懂的语言、详尽的公式推导说明和生动的图形展示知识点，并附上应用样例，便于读者将概念、原理、公式和应用融会贯通。本书还考虑到初学者尽快入门的需求，对深度学习开发工具和处理技巧进行了细致的梳理和总结。最后本书对深度学习应用前景、发展趋势、未来研究趋势等进行了分析，具有一定前瞻性。本书涵盖了大量深度学习的技术细节，适用于不同层次的读者。

　　1984年毕业于南京大学数学系，曾任中国电科第二十八研究所副所长、中国电科通信事业部副总经理、中国司法大数据研究院总经理等职，主持和参加研制了十余项重大工程。获电子部科学技术进步一等奖1项，中国电子科技集团公司科学技术奖特等奖2项，中国电子科技集团公司科学技术奖一等奖3项。2005年获江苏省有突出贡献的中青年专家称号。发表论文20余篇，获发明专利1项，受理发明申请专利2项，出版学术专著1部，国家电子行业标准1部。

目 录
第1章 深度学习概述\t1
1．1 什么是深度学习\t1
1．2 为什么会出现深度学习\t6
1．3 深度学习方法的分类\t8
1．4 人工神经网络的发展简史\t9
思考题\t15
第2章 必备的数学知识\t16
2．1 线性代数\t16
2．1．1 矩阵\t16
2．1．2 向量\t21
2．2 微积分\t22
2．2．1 微分\t22
2．2．2 积分\t26
2．3 概率统计\t27
2．3．1 随机事件\t27
2．3．2 概率的定义\t28
2．3．3 条件概率和贝叶斯公式\t28
2．3．4 常用概率模型\t29
2．3．5 随机变量与概率分布\t30
2．3．6 随机变量的数字特征\t31
2．3．7 典型的概率分布\t33
2．3．8 统计与概率\t36
2．3．9 样本与总体\t37
2．3．10 统计量与抽样分布\t37
2．3．11 参数估计\t38
第3章 神经网络\t40
3．1 生物神经元\t40
3．2 M-P模型\t41
3．3 前馈神经网络\t42
3．4 感知器\t43
3．4．1 单层感知器\t43
3．4．2 多层感知器\t45
3．5 神经网络的学习\t46
3．5．1 数据驱动\t46
3．5．2 损失函数\t47
3．5．3 激活函数\t50
3．5．4 似然函数\t55
3．5．5 梯度与梯度下降法\t58
3．5．6 学习率\t61
3．5．7 学习规则\t62
3．6 误差反向传播算法\t63
3．7 随机梯度下降法\t69
3．8 神经网络学习算法的基本步骤\t70
思考题\t71
第4章 卷积神经网络\t72
4．1 卷积神经网络的结构\t72
4．2 输入层\t76
4．3 卷积层\t76
4．4 池化层\t82
4．5 全连接层\t84
4．6 输出层\t84
4．7 卷积神经网络的训练方法\t85
4．8 卷积神经网络的可视化\t88
4．8．1 特征图可视化\t88
4．8．2 卷积核可视化\t94
4．8．3 类激活图可视化\t97
4．8．4 可视化工具（Deep Visualization Toolbox）\t98
4．9 典型的卷积神经网络\t99
4．9．1 LeNet神经网络\t99
4．9．2 AlexNet\t103
4．9．3 VGGNet\t104
4．9．4 GoogLeNet\t106
4．9．5 ResNet\t108
4．9．6 基于AlexNet的人脸识别\t108
思考题\t118
第5章 反馈神经网络\t119
5．1 Hopfield神经网络\t119
5．2 离散型Hopfield神经网络\t121
5．2．1 离散型Hopfield神经网络的结构\t121
5．2．2 离散型Hopfield神经网络的状态变化规律\t122
5．2．3 离散型Hopfield神经网络的稳态判别函数\t123
5．2．4 离散型Hopfield神经网络的联想记忆\t126
5．2．5 离散型Hopfield神经网络的模式识别例子\t127
5．2．6 离散型Hopfield神经网络的权重设置\t128
5．2．7 离散型Hopfield神经网络的不足\t130
5．3 连续型Hopfield神经网络\t131
5．3．1 连续型Hopfield神经网络结构及其稳定性分析\t131
5．3．2 连续型Hopfield神经网络解决旅行商问题\t133
5．4 玻尔兹曼机\t135
5．3 受限玻尔兹曼机\t141
5．4 对比散度算法\t146
5．5 深度信念网络\t148
思考题\t150
第6章 自编码器\t151
6．1 自编码器\t151
6．2 降噪自编码器\t153
6．3 稀疏自编码器\t155
6．4 栈式自编码器\t156
6．5 变分自编码器\t158
思考题\t161
第7章 循环神经网络\t162
7．1 循环神经网络概述\t162
7．2 隐马尔可夫链\t163
7．3 循环神经网络架构\t164
7．4 LSTM\t166
7．4．1 基于LSTM预测彩票\t170
7．4．2 基于LSTM生成古诗词\t180
思考题\t188
第8章 生成对抗网络\t189
8．1 生成对抗网络概述\t189
8．2 生成对抗网络\t190
8．3 条件生成对抗网络\t193
8．4 深度对抗生成网络\t195
8．5 基于DCGAN生成人脸图片\t196
8．5．1 准备数据集\t196
8．5．2 构建模型\t197
思考题\t204
第9章 学习有关的处理技巧\t205
9．1 训练样本\t205
9．2 数据预处理\t206
9．3 Dropout与DropConnect\t209
9．4 正则化\t212
9．5 权重的初值设置\t213
思考题\t214
第10章 深度学习开发工具\t215
10．1 TensorFlow\t215
10．1．1 安装TensorFlow\t216
10．1．2 TensorFlow运行环境\t217
10．1．3 TensorFlow基本要素\t218
10．1．4 TensorFlow运行原理\t219
10．1．5 TensorFlow编程识别手写数字实例\t221
10．1．6 TensorBoard可视化工具\t225
10．2 Caffe\t226
10．2．1 Caffe的安装\t228
10．2．2 Caffe的应用实例\t231
思考题\t232
第11章 自动化机器学习\t233
11．1 AutoML简介\t234
11．2 AutoML与传统方法的对比\t234
11．3 现有AutoML平台产品\t235
11．3．1 谷歌Cloud AutoML\t235
11．3．2 百度EasyDL\t235
11．3．3 阿里云PAI\t238
第12章 深度学习的未来\t242
12．1 物体识别\t242
12．2 物体检测\t243
12．3 图像分割\t251
12．4 回归问题\t253
12．4．1 人体姿态估计\t253
12．4．2 面部器官检测\t255
12．5 图像标注生成\t255
12．6 图像风格变换\t257
12．7 自动驾驶\t258
12．8 强化学习\t259
12．9 深度学习的最新应用\t260
12．9．1 AlphaGo围棋机器人\t260
12．9．2 人机对话\t262
12．9．3 视频换脸\t263
12．9．4 无人机自动控制\t265
12．9．5 机器人行动协同\t267
12．9．6 医疗自动诊断\t269
12．10 深度学习的发展趋势分析\t271
12．10．1 深度学习技术现状\t271
12．10．2 深度学习发展趋势\t271
参考答案\t273
参考文献\t277