深度学习基础教程

　　《深度学习基础教程》是真正适合深度学习初学者的入门书籍，全书没有任何复杂的数学推导。《深度学习基础教程》首先介绍了深度学习的优势和面临的挑战、深度学习采用深层架构的动机、学习深度学习需要的数学知识和硬件知识以及深度学习常用的软件框架。然后对多层感知机、卷积神经网络（CNN）、受限玻耳兹曼机（RBM）、循环神经网络（RNN）及其变体—长短时记忆（LSTM）网络进行了详细介绍，并且以独立章节重点阐述了CNN在计算机视觉中的应用、RNN在自然语言处理中的应用以及深度学习在多模态学习领域中的应用。随后，本书介绍了深度强化学习的基本知识，给出了应用深度学习技术需要的许多实用技巧并概述了深度学习的一些新方向和新应用。

　　Wei Di是一名拥有多年机器学习和人工智能经验的数据科学家。她热衷于创建智能和可扩展的解决方案，这些解决方案可以影响数百万人，并增强成功企业的能力。目前，她是LinkedIn的一名数据科学家。她之前曾与eBay人类语言技术团队和eBay研究实验室合作。在此之前，她在Ancestry.com从事记录链接领域的大规模数据挖掘工作。她于2011年获得了普渡大学的博士学位。Anurag Bhardwaj目前领导着Wiser Solutions的数据科学工作，其主要致力于构建大规模的电子商务库存。他特别感兴趣的是使用机器学习来解决产品类别分类和产品匹配方面的问题，以及电子商务中的各种相关问题。此前，他曾在eBay研究实验室从事图像理解工作。他在纽约州立大学布法罗分校获得博士学位和硕士学位，并在印度库鲁什特拉（Kurukshetra）的国立理工学院获得了计算机工程学士学位。Jianing Wei是Google Research的高级软件工程师。他的工作领域是计算机视觉和计算机成像。在2013年加入谷歌之前，他曾在索尼美国研究中心工作了4年，在此期间其主要从事3D计算机视觉和图像处理领域的研究工作。他于2010年获得了普渡大学电子与计算机工程博士学位。

译者序
原书前言
第 1章　为什么进行深度学习 // 1
1.1　什么是人工智能和深度学习 // 1
1.2　深度学习的历史及其兴起 // 2
1.3　为什么进行深度学习 // 7
1.3.1　相比于传统浅层方法的优势 // 7
1.3.2　深度学习的影响 //8
1.4　深层架构的动机 // 9
1.4.1　神经的观点 // 10
1.4.2　特征表示的观点 // 10
1.5　应用 //14
1.5.1　盈利性应用 // 14
1.5.2　成功案例 // 14
1.5.3　面向企业的深度学习 // 19
1.6　未来的潜力和挑战 // 20
1.7　小结 //21
第 2章　为深度学习做准备 // 22
2.1　线性代数的基础知识 // 22
2.1.1　数据表示 // 22
2.1.2　数据操作 // 23
2.1.3　矩阵属性 // 24
2.2　使用GPU进行深度学习 // 24
2.2.1　深度学习硬件指南 // 26
2.3　深度学习软件框架 // 27
2.3.1　TensorFlow // 27
2.3.2　Caffe // 27
2.3.3　MXNet // 28
2.3.4　Torch // 28
2.3.5　Theano // 28
2.3.6　CNTK // 29
2.3.7　Keras // 29
2.3.8　框架比较 // 29
2.4　基本亚马逊网络服务的深度学习开发环境配置 // 30
2.4.1　从零开始配置 // 30
2.4.2　基于Docker的配置 // 33
2.5　小结 //34
第 3章　神经网络入门 // 35
3.1　多层感知机 // 35
3.1.1　输入层 // 36
3.1.2　输出层 // 36
3.1.3　隐藏层 // 36
3.1.4　激活函数 // 36
3.2　如何进行网络学习 // 39
3.2.1　权值初始化 // 39
3.2.2　前向传播 // 39
3.2.3　反向传播 // 40
3.2.4　梯度消失与爆炸 // 42
3.2.5　优化算法 // 42
3.2.6　正则化 // 43
3.3　深度学习模型 // 43
3.3.1　卷积神经网络 // 43
3.3.2　受限玻耳兹曼机 // 47
3.3.3　循环神经网络（RNN/LSTM网络）// 50
3.3.4　RNN中的单元及其展开 // 51
3.3.5　通过时间的反向传播 // 51
3.3.6　梯度消失与 LSTM网络 // 51
3.3.7　LSTM网络中的单元和网关 // 52
3.4　应用示例 //53
3.4.1　TensorFlow设置与关键概念 // 53
3.4.2　手写数字识别 // 54
3.5　小结 //57
第 4章　计算机视觉中的深度学习 // 58
4.1　卷积神经网络的起源 // 58
4.2　卷积神经网络 // 59
4.2.1　数据变换 // 61
4.2.2　网络层 // 62
4.2.3　网络初始化 // 65
4.2.4　正则化 // 66
4.2.5　损失函数 // 67
4.2.6　模型可视化 // 68
4.2.7　手写数字分类示例 // 69
4.3　微调卷积神经网络 // 71
4.4　主流的卷积神经网络架构 // 72
4.4.1　AlexNet // 72
4.4.2　VGG // 72
4.4.3　GoogLeNet // 73
4.4.4　ResNet // 73
4.5　小结 //74
第 5章　自然语言处理中的向量表示 // 75
5.1　传统的自然语言处理 // 75
5.1.1　BoW // 75
5.1.2　带权的 tf-idf // 76
5.2　基于深度学习的自然语言处理 // 77
5.2.1　动机及分散式表示法 // 77
5.2.2　词嵌入 // 78
5.2.3　Word2Vec // 81
5.2.4　了解 GloVe // 92
5.2.5　FastText // 92
5.3　应用 //93
5.3.1　使用示例 // 93
5.3.2　微调 // 93
5.4　小结 //94
第 6章　高级自然语言处理 // 95
6.1　面向文本的深度学习 // 95
6.1.1　神经网络的局限性 // 95
6.2　循环神经网络 // 96
6.2.1　RNN架构 // 97
6.2.2　基本的RNN模型 // 98
6.2.3　训练RNN很难 // 98
6.3　LSTM网络 //99
6.3.1　使用TensorFlow实现LSTM网络 // 101
6.4　应用 //103
6.4.1　语言建模 // 103
6.4.2　序列标注 // 104
6.4.3　机器翻译 // 106
6.4.4　聊天机器人 // 109
6.5　小结 //110
第 7章　多模态 // 111
7.1　什么是多模态学习 // 111
7.2　多模态学习的挑战 // 111
7.2.1　模态表示 // 112
7.2.2　模态转换 // 112
7.2.3　模态对齐 // 112
7.2.4　模态融合 // 113
7.2.5　协同学习 // 113
7.3　图像标注生成 //113
7.3.1　show&tell算法 // 114
7.3.2　其他类型的方法 // 116
7.3.3　数据集 // 117
7.3.4　评估方法 // 119
7.3.5　注意力模型 // 121
7.4　视觉问答 //125
7.5　基于多源的自动驾驶 //127
7.6　小结 //130
第 8章　深度强化学习 // 131
8.1　什么是强化学习 // 131
8.1.1　问题设置 // 132
8.1.2　基于值函数学习的算法 // 132
8.1.3　基于策略搜索的算法 //134
8.1.4　基于Actor-Critic的算法 // 134
8.2　深度强化学习 // 135
8.2.1　深度Q网络（DQN）// 135
8.2.2　双DQN // 137
8.2.3　竞争DQN // 138
8.3　强化学习实现 // 138
8.3.1　简单的强化学习示例 // 138
8.3.2　以Q-learning为例的强化学习 // 139
8.4　小结 //141
第 9章　深度学习的技巧 // 142
9.1　处理数据 //142
9.1.1　数据清理 // 142
9.1.2　数据扩充 // 142
9.1.3　数据归一化 // 143
9.2　训练技巧 // 143
9.2.1　权值初始化 // 143
9.2.2　优化 // 144
9.2.3　损失函数选择 // 146
9.2.4　防止过拟合 // 147
9.2.5　微调 // 148
9.3　模型压缩 // 149
9.4　小结 // 152
第 10章　深度学习的发展趋势 // 153
10.1　深度学习的最新模型 // 153
10.1.1　生成对抗网络 // 153
10.1.2　Capsule网络 // 154
10.2　深度学习的新应用 // 155
10.2.1　基因组学 // 155
10.2.2　医疗预测 // 157
10.2.3　临床影像学 // 159
10.2.4　唇语 // 160
10.2.5　视觉推理 // 161
10.2.6　代码合成 // 162
10.3　小结 // 164