深度学习：从算法本质、系统工程到产业实践

　　本书介绍了深度学习的基本理论、工程实践及其在产业界的部署和应用。在深度学习框架的介绍中，书中结合代码详细讲解了经典的卷积神经网络、循环神经网络和基于自注意力机制的Transformer网络及其变体。还介绍了这些模型在图像分类、目标检测、语义分割、欺诈检测和语音识别等领域的应用。此外，书中还涵盖了深度强化学习和生成对抗网络的前沿进展。在系统工程和产业实践方面，书中解释了如何使用分布式系统训练和部署模型以处理大规模数据。本书系统介绍了构建深度学习推理系统的过程，并结合代码讲解了分布式深度学习推理系统需要考虑的工程化因素，例如分布式问题和消息队列，以及从工程化角度出发的解决方法。本书提供了每个经典模型和应用实例的TensorFlow和PyTorch版本代码，为深度学习初学者和算法开发者提供理论学习、代码实践和工程落地的指导与帮助。本书既适合计算机、自动化、电子、通信、数学、物理等相关专业背景的研究生和高年级本科生，也适合那些希望从事或准备转向人工智能领域的专业技术人员。

　　王书浩，清华大学博士，清华大学交叉信息研究院博士后，现为透彻未来联合创始人与首席技术官，曾先后于百度、异构智能（NovuMind）、京东从事数据科学与人工智能研究，拥有国家发明专利20余项，并于Nature Communications、Modern Pathology、ICCV等顶级期刊/会议发表十余篇学术论文。曾获得2019年乌镇互联网峰会“30位新生代数字经济人才”精英奖、Year 2022 Fall Asia-Pacific Signal and Information Processing Association Industrial Distinguished Leaders、阿里云“看见新力量”2022年度人物。徐罡，清华大学博士，现任复旦大学复杂体系多尺度研究院青年副研究员，以第一作者身份在ICCV、Briefings in Bioinformatics、Bioinformatics、Journal of Chemical Theory and Computation与Journal of Chemical Information and Modeling等知名期刊/会议中发表多篇文章。主要研究方向为人工智能在医疗图像及计算生物学领域中的应用，提出了弱监督框架CAMEL，并使用深度学习框架TensorFlow建立了蛋白质折叠和对接框架，为人工智能和传统计算生物学领域的结合提供了桥梁。

本书源代码 
第
1 
章神经网络深入  
1 
11 打开深度学习之门  
1
12 从优化问题讲起  
6
121 牛顿与开普勒的对话  
6
122 拟合与分类的数学模型  
6
123 通过训练数据优化模型参数  
8
124 优化方法  13
13 深度神经网络  16
131 谁来做特征提取  16 
132 人工神经元与激活函数  17 
133 神经网络及其数学本质  21 
14 正则化方法  29
141 欠拟合与过拟合  29 
142 正则化方法  31 
143 一些训练技巧  35 
15 模型评价  36
151 评价指标的重要性 36 
152 混淆矩阵  36 
153 典型评价指标  38 
16 深度学习能力的边界  39
161 深度学习各领域的发展阶段  39 
162 不适用现有深度学习技术的任务  39 
163 深度学习的未来  40 
本章习题  41
第
2 
章卷积神经网络——图像分类与目标检测  42 
21 卷积的基本概念  42
 
VIII
211 卷积的定义  42 
212 卷积的本质  43 
213 卷积的重要参数  43 
214 池化层  45 
22 卷积神经网络  46
221 典型的卷积神经网络  47 
222 LeNet  50
223 AlexNet  53 
224 VGGNet  57 
225 ResNet  63
226 能力对比  75 
23 目标检测  76
231 R-CNN  76
232 Fast R-CNN  78 
233 Faster R-CNN  79 
234 YOLO  79
本章习题  81
第
3 
章卷积神经网络——语义分割  82 
31 语义分割基础  82
311 语义分割的应用领域  82 
312 全卷积神经网络  83 
313 反卷积与空洞卷积 83 
314 U-Net  85
315 DeepLab v1 和v2  90 
316 DeepLab v3  95 
317 两种架构的融合——DeepLab v3 101 
32 模型可视化  108
321 卷积核可视化  109 
322 特征图可视化  109 
323 表征向量可视化  109 
324 遮盖分析与显著梯度分析  109 
33 病理影像分割初探 110
331 病理——医学诊断的“金标准” 110 
332 病理人工智能的挑战  111 
333 真实模型训练流程112 
 
IX
34 自监督学习 117
341 方法概述 117 
342 自监督学习算法介绍 118 
35 模型训练流程  123
351 成本函数  123 
352 自动调节学习速率 123 
353 模型保存与加载  123 
本章习题  124
第
4 
章高级循环神经网络  125 
41 自然语言处理基础  125
411 时间维度的重要性 125 
412 自然语言处理  125 
413 词袋法  126 
414 词嵌入  127 
42 循环神经网络  128
421 时序数据建模的模式  128 
422 循环神经网络基本结构  128 
423 LSTM  131
424 GRU 134 
43 基于会话的欺诈检测  137
431 欺诈的模式  137 
432 技术挑战  138 
433 数据预处理  138 
434 实践循环神经网络 140 
44 语音识别与语音评测  148
441 特征提取  148 
442 模型结构  149 
443 CTC 损失函数  151 
本章习题  152
第
5 
章分布式深度学习系统  153 
51 分布式系统  153
511 挑战与应对  153 
512 主从架构  154 
513 Hadoop 与Spark  154 
 
X 
52 分布式深度学习系统  157
521 CPU 与GPU  157 
522 分布式深度学习  160 
523 通信——对参数进行同步  164 
53 微服务架构  165
531 微服务的基本概念 166 
532 消息队列  167 
54 分布式推理系统  167
541 深度学习推理框架 167 
542 推理系统架构  169 
本章习题  171
第
6 
章深度学习前沿  173 
61 深度强化学习  173
611 强化学习概述  173 
612 深度强化学习概述 174 
613 任天堂游戏的深度强化学习  175 
62 AlphaGo  176
621 为什么围棋这么困难  176 
622 AlphaGo 系统架构  177 
623 AlphaGo Zero  181 
63 生成对抗网络  182
631 生成对抗网络概述 182 
632 典型的生成对抗网络  182 
64 未来在哪里  207
本章习题  210
第
7 
章专题讲座 211
71 DenseNet 211
72 Inception  216
73 Xception  230
74 ResNeXt  236
75 Transformer  240
本章习题  242
第
8 
章Transformer 
和它的朋友们  243 
81 注意力模型  243
 
XI
811 看图说话  243 
812 语言翻译  245 
813 几种不同的注意力机制  246 
82 Transformer  250
821 自注意力机制和Transformer  250 
822 Transformer 在视觉领域的应用  278 
本章习题  293
第
9 
章核心实战  294 
91 图像分类  295
911 ImageNet 数据集概述  295 
912 ImageNet 数据探索与预处理  295 
913 模型训练  299 
914 模型测试  304 
915 模型评价  307 
916 猫狗大战数据集  309 
917 模型导出  310 
92 语义分割 311
921 数字病理切片介绍311
922 数字病理切片预处理  314 
923 样本均衡性处理  317 
924 模型训练  319 
925 模型测试  324 
926 模型导出  331 
本章习题  332
第10 
章深度学习推理系统  333 
101 整体架构  333
102 调度器模块  334
103 工作节点模块  340
104 日志模块  347
本章习题  349
参考文献  350 
扩展资源二维码 351