深度学习

　　本书较为全面地介绍了深度学习的基本概念、算法原理以及实现框架。全书共9章，分别介绍了深度学习的发展历史、神经网络与深度神经网络、卷积神经网络、循环神经网络、深度学习在目标检测和图像描述中的应用、生成对抗网络、深度迁移学习和深度强化学习等，并提供了应用实例，旨在通过练习和操作实践帮助读者巩固所学的内容。本书可作为高等院校人工智能、计算机、自动化、电子等相关专业的深度学习教材，也可供人工智能、图像处理、计算机等专业研究人员和广大人工智能及深度学习技术的爱好者自学使用，还可作为人工智能技术培训的教材。

　　徐立芳，哈尔滨工程大学“模式识别与智能系统”工学博士，长期从事智能控制、工业自动化技术方面的教学，主要研究领域涉及智能系统、机器人、本体、进化计算、神经网络、电机控制等。哈尔滨工程大学工程训练中心（***实验教学示范中心）电器技术实验室负责人。莫宏伟，哈尔滨工程大学工学博士、教授，类脑计算与人工智能研究中心主任，全国高校人工智能与大数据创新联盟常务理事，黑龙江省高等教育学会人工智能教育专业委员会理事长。长期从事人工智能导论、原理与方法的课程教学工作，主要研究领域涉及类脑计算、自然计算、智能机器人、视觉智能与认知智能等。完成国家自然科学基金、国防科学技术预先研究基金等项目20余项，发表论文80余篇，出版专著6部、教材2部，授权发明专利8项。

01 绪论
1．1　机器学习与深度学习　2
1．2　机器学习方法类型　3
1．3　机器学习常见算法　4
1．4　深度学习的前世今生　6
1．5　深度学习的应用　8
1．6　深度学习开源工具简介　10
1．6．1　TensorFlow　10
1．6．2　PyTorch　10
1．6．3　CNTK　10
1．6．4　Keras　11
1．6．5　MXNet　11
1．6．6　Caffe　11
1．6．7　OpenAI Gym　11
1．7　本书主要学习内容　12
1．8　本章小结　13
1．9　习题　13
02　神经网络与深度神经网络
2．1　神经元与感知器　16
2．1．1　生物神经元与神经元模型　16
2．1．2　感知器　18
2．2　反向传播算法　19
2．2．1　前馈计算　19
2．2．2　反向传播　20
2．3　神经网络的连接　23
2．3．1　前馈神经网络　23
2．3．2　反馈神经网络　24
2．3．3　全局逼近网络和局部逼近网络　24
2．3．4　自组织特征映射网络　25
2．3．5　自适应共振理论ART模型　25
2．4　深度神经网络与深度学习　26
2．5　常用的函数模型　28
2．5．1　激活函数　28
2．5．2　损失函数　30
2．6　本章小结　32
2．7　习题　32
03　卷积神经网络
3．1　大脑视觉皮层的信息分层处理机制　34
3．2　感受野与权值共享　35
3．3　卷积神经网络的层级结构和组成　37
3．3．1　卷积层　37
3．3．2　池化层　38
3．3．3　全连接层　38
3．4　卷积神经网络算法　39
3．4．1　算法的训练　39
3．4．2　LeNet-5模型　40
3．5　网络的卷积层设计　41
3．5．1　跨步卷积（Stride Convolution）　42
3．5．2　零填充（Zero Padding）　43
3．5．3　非共享卷积（Unshared Convolution）　44
3．5．4　平铺卷积（Tiled Convolution）　44
3．6　CNN的经典网络结构　45
3．6．1　AlexNet　45
3．6．2　VGGNet　46
3．6．3　GoogLeNet　46
3．6．4　ResNet　48
3．6．5　DenseNet　48
3．7　CNN用于人脸表情分类　49
3．7．1　图像的预处理　49
3．7．2　用于分类的CNN网络设计　50
3．7．3　实验结果　51
3．8　本章小结　52
3．9　习题　52
04　循环神经网络
4．1　循环神经网络　54
4．1．1　循环神经元展开　54
4．1．2　随时间反向传播算法　57
4．1．3　梯度消失和梯度爆炸　61
4．2　长短期记忆网络　61
4．2．1　输入门、遗忘门和输出门　62
4．2．2　LSTM模型　62
4．2．3　LSTM的计算　64
4．3　循环神经网络设计　65
4．3．1　双向循环网络　66
4．3．2　深度循环神经网络　66
4．3．3　LSTM的变体　67
4．4　循环神经网络的应用　69
4．5　基于RNN的语言模型　69
4．6　本章小结　72
4．7　习题　72
05　目标检测
5．1　基于候选区域的目标检测算法　74
5．1．1　R-CNN算法　75
5．1．2　SPP-NET算法　75
5．1．3　Fast R-CNN算法　76
5．1．4　Faster R-CNN算法　77
5．1．5　Mask R-CNN算法　78
5．2　基于回归预测的目标检测算法　79
5．2．1　SSD算法　79
5．2．2　YOLO算法　80
5．2．3　YOLOv2算法　82
5．2．4　YOLOv3算法　84
5．3　目标检测算法发展趋势　85
5．4　人体行为检测　86
5．4．1　网络超参数的选择　86
5．4．2　模型的训练　87
5．4．3　模型测试　89
5．5　本章小结　91
5．6　习题　91
06　图像描述
6．1　图像描述方法　94
6．1．1　模板方法与检索方法　94
6．1．2　编码 解码结构方法　95
6．2　编码 解码图像描述　96
6．2．1　编码 解码结构原理　96
6．2．2　编码 解码结构的图像描述模型　97
6．3　注意力机制图像描述方法　98
6．3．1　注意力机制原理　98
6．3．2　注意力机制在图像描述中的应用　100
6．4　图像描述示例　103
6．4．1　图像描述的数据集　103
6．4．2　生成图像描述　104
6．4．3　图像描述代码解析　106
6．5　图像描述应用前景　110
6．5．1　图像检索　110
6．5．2　人机交互　110
6．5．3　智能监控　111
6．6　本章小结　111
6．7　习题　111
07　生成对抗网络
7．1　生成式模型　114
7．1．1　一个极具挑战的机器学习问题　114
7．1．2　生成式模型分类　115
7．2　生成对抗网络基本原理　115
7．2．1　GAN的思想与基本形式　115
7．2．2　GAN的优势与问题　116
7．3　生成式对抗网络的设计　117
7．3．1　条件生成式对抗网络　117
7．3．2　拉普拉斯金字塔生成式对抗网络　118
7．3．3　深度卷积生成式对抗网络　120
7．3．4　Wasserstein GAN　121
7．4　GAN的应用　122
7．4．1　计算机视觉领域　122
7．4．2　语言和语音领域　124
7．4．3　半监督领域　125
7．5　基于DCGAN的手写数字生成实例　125
7．6　本章小结　128
7．7　习题　128
08　深度迁移学习
8．1　迁移学习　130
8．1．1　迁移学习的分类　130
8．1．2　迁移学习的形式化定义　131
8．1．3　度量准则—距离和相似度　131
8．2　深度网络的可迁移性　132
8．3　深度网络的适配　134
8．3．1　核心思想—数据分布自适应　134
8．3．2　DDC方法　134
8．3．3　DAN方法　135
8．4　迁移学习的应用　136
8．5　VGG迁移—识别花朵类型　137
8．6　本章小结　140
8．7　习题　140
09　深度强化学习
9．1　强化学习　142
9．1．1　奖励驱动行为思想　142
9．1．2　强化学习的基本框架　142
9．1．3　强化学习算法　143
9．2　深度强化学习的突破与问题　144
9．3　DRL算法—深度Q网络　146
9．4　深度Q网络的变体　148
9．4．1　深度双Ｑ网络　148
9．4．2　深度循环Q网络　148
9．4．3　基于优先级回放的深度Q网络　149
9．4．4　异步多步深度Q网络　150
9．4．5　彩虹深度Q网络　150
9．5　深度强化学习的应用　151
9．5．1　机器人控制　151
9．5．2　计算机视觉　152
9．5．3　自然语言处理　152
9．5．4　博弈论领域　153
9．6　本章小结　153
9．7　习题　153
附录1　CNN用于人脸表情分类　155
附录2　基于DCGAN的手写数字生成实例　159
附录3　VGG迁移—识别花朵类型　165
附录4　深度学习资源　171
参考文献　175