神经网络与深度学习

　　本书涵盖了经典和现代的深度学习模型。章节分为三类：第1部分为神经网络的基础。许多传统的机器学习模型可以理解为神经网络的特殊情况。前两章的重点是理解传统机器学习和神经网络之间的关系。支持向量机、线性/逻辑回归、奇异值分解、矩阵分解和推荐系统都是神经网络的特例。本书将这些方法与特征工程方法如word2vec一起进行了研究。第2部分是神经网络的基本原理。训练和正则化的详细讨论在第3章和第4章提供。第5章和第6章介绍了径向基函数（RBF）网络和受限的玻尔兹曼机。第3部分是神经网络的高级主题：第7章和第8章讨论了循环神经网络和卷积神经网络。第9章和第10章介绍了几个高级主题，如深度强化学习、神经图像机、Kohonen自组织映射和生成对抗网络。这本书是为研究生、研究人员和实践者编写的。大量的练习和一个解决方案手册，以帮助在课堂教学。在可能的情况下，突出显示以应用程序为中心的视图，以便提供对每一类技术的实际用途的理解。

暂缺《神经网络与深度学习》作者简介

译者序
前言
致谢
作者简介
第1章神经网络概论111简介1
12神经网络的基本架构3
121单层计算网络：感知机3
122多层神经网络13
123多层网络即计算图15
13利用反向传播训练神经网络16
14神经网络训练中的实际问题19
141过拟合问题19
142梯度消失与梯度爆炸问题22
143收敛问题22
144局部最优和伪最优22
145计算上的挑战23
15复合函数的能力之谜23
151非线性激活函数的重要性25
152利用深度以减少参数26
153非常规网络架构27
16常见网络架构28
161浅层模型模拟基础机器学习方法28
162径向基函数网络29
163受限玻尔兹曼机29
164循环神经网络30
165卷积神经网络31
166层次特征工程与预训练模型32
17高级主题34
171强化学习34
172分离数据存储和计算34
173生成对抗网络35
18两个基准35
181MNIST手写数字数据库35
182ImageNet数据库36
19总结37
110参考资料说明37
1101视频讲座38
1102软件资源39
111练习39
第2章基于浅层神经网络的机器学习41
21简介41
22二分类模型的神经架构42
221复习感知机42
222最小二乘回归44
223逻辑回归47
224支持向量机49
23多分类模型的神经架构50
231多分类感知机51
232WestonWatkins支持向量机52
233多重逻辑回归（softmax分类器）53
234应用于多分类的分层softmax54
24反向传播可以用于特征选择和神经网络的可解释性54
25使用自编码器进行矩阵分解55
251自编码器的基本原则55
252非线性激活函数59
253深度自编码器60
254应用于离群点检测62
255当隐藏层比输入层维数高时63
256其他应用63
257推荐系统：行索引到行值的预测65
258讨论67
26word2vec：简单神经架构的应用67
261连续词袋的神经嵌入68
262skipgram模型的神经嵌入70
263word2vec（SGNS）是逻辑矩阵分解74
264原始skipgram模型是多项式矩阵分解76
27图嵌入的简单神经架构76
271处理任意数量的边78
272多项式模型78
273与DeepWalk和node2vec的联系78
28总结78
29参考资料说明79
210练习80
第3章深度神经网络的训练8231简介82
32反向传播的详细讨论83
321计算图抽象中的反向传播83
322前来拯救的动态规划87
323使用激活后变量的反向传播88
324使用激活前变量的反向传播89
325不同激活函数的更新示例91
326以向量为中心的反向传播的解耦视图92
327多输出节点及隐藏节点下的损失函数94
328小批量随机梯度下降95
329用于解决共享权重的反向传播技巧96
3210检查梯度计算的正确性97
33设置和初始化问题98
331调整超参数98
332特征预处理99
333初始化100
34梯度消失和梯度爆炸问题101
341对梯度比例影响的几何理解102
342部分解决：激活函数的选择103
343死亡神经元和“脑损伤”104
35梯度下降策略105
351学习率衰减105
352基于动量的学习106
353参数特异的学习率108
354悬崖和高阶不稳定性111
355梯度截断112
356二阶导数112
357Polyak平均118
358局部极小值和伪极小值119
36批归一化120
37加速与压缩的实用技巧123
371GPU加速123
372并行和分布式实现125
373模型压缩的算法技巧126
38总结128
39参考资料说明128
310练习130
第4章让深度学习器学会泛化132
41简介132
42偏差方差权衡135
43模型调优和评估中的泛化问题138
431用留出法和交叉验证法进行评估139
432大规模训练中的问题140
433如何检测需要收集更多的数据141
44基于惩罚的正则化141
441与注入噪声的联系142
442L1正则化143
443选择L1正则化还是L2正则化143
444对隐藏单元进行惩罚：学习稀疏表示144
45集成方法145
451装袋和下采样145
452参数模型选择和平均146
453随机连接删除146
454Dropout147
455数据扰动集成149
46早停149
47无监督预训练150
471无监督预训练的变体153
472如何进行监督预训练154
48继续学习与课程学习154
481继续学习155
482课程学习156
49共享参数156
410无监督应用中的正则化157
4101基于值的惩罚：稀疏自编码器157
4102噪声注入：去噪自编码器157
4103基于梯度的惩罚：收缩自编码器158
4104隐藏层概率结构：变分自编码器161
411总结166
412参考资料说明166
413练习168
第5章径向基函数网络169
51简介169
52RBF网络的训练171
521训练隐藏层171