迁移学习基础及应用

　　本书系统地阐述了迁移学习的解决方法和典型应用。首先， 论述了迁移学习的基本概念、方法分类及发展历程， 介绍了迁移学习的相关基础知识。其次， 探讨了迁移学习的基本方法， 包括基于样本、基于特征、基于模型和基于关系的迁移学习方法， 阐述了深度迁移学习的经典方法， 包括神经网络自适应迁移方法和神经网络对抗迁移方法， 介绍了更加实用的部分域适应方法和开集域适应方法。后， 介绍了迁移学习在动作识别、目标检测及语义分割三个方向的应用。本书可供从事机器学习、模式分类、人工智能以及相关领域研究和应用的技术研发人员参考，也可作为相关专业的高年级本科生和研究生的教材。

　　吴心筱，女，1982年生，江苏江阴人。于2010年获得北京理工大学博士学位。现任北京理工大学副教授，博士生导师。主要研究方向为图像视频内容理解、计算机视觉。在IJCV、IEEE TIP、IEEE TNNLS、IEEE TMM等重要国际刊物和ICCV、CVPR、ACM MM、AAAI、IJCAI等国际会议上发表学术论文30余篇。负责国家自然科学基金青年和面上项目、教育部博士点基金等项目。获“2012年中国人工智能学会优秀博士学位论文”荣誉。

第1 章　 绪论………………………………………………………………………………… 001
　 1. 1　 机器学习概述 ………………………………………………………………………… 001
　 　 1. 1. 1　 机器学习的主要步骤 …………………………………………………………… 001
　 　 1. 1. 2　 机器学习的分类 ………………………………………………………………… 003
　 1. 2　 迁移学习的基本概念 ………………………………………………………………… 005
　 　 1. 2. 1　 迁移学习的定义 ………………………………………………………………… 005
　 　 1. 2. 2　 域和任务 ………………………………………………………………………… 007
　 　 1. 2. 3　 迁移学习的数学表示 …………………………………………………………… 008
　 　 1. 2. 4　 迁移学习的基础研究问题 ……………………………………………………… 009
　 1. 3　 迁移学习方法的分类 ………………………………………………………………… 010
　 　 1. 3. 1　 根据目标域中所包含的有标签数据情况分类 ………………………………… 010
　 　 1. 3. 2　 根据源域与目标域的数据和任务的不同分类 ………………………………… 011
　 　 1. 3. 3　 根据源域与目标域的特征空间或标签是否同构分类 ………………………… 014
　 　 1. 3. 4　 迁移学习方法的总结分类 ……………………………………………………… 014
　 1. 4　 迁移学习的发展历史 ………………………………………………………………… 016
　 1. 5　 其他学习方法 ………………………………………………………………………… 017
　 　 1. 5. 1　 主动学习 ………………………………………………………………………… 017
　 　 1. 5. 2　 在线学习 ………………………………………………………………………… 018
　 　 1. 5. 3　 度量学习 ………………………………………………………………………… 019
　 　 1. 5. 4　 深度迁移学习 …………………………………………………………………… 020
　 　 1. 5. 5　 强化学习 ………………………………………………………………………… 024
　 参考文献……………………………………………………………………………………… 025
第2 章　 基础知识 ………………………………………………………………………… 032
　 2. 1　 矩阵分析 ……………………………………………………………………………… 032
　 　 2. 1. 1　 基本概念 ………………………………………………………………………… 032
　 　 2. 1. 2　 矩阵分解 ………………………………………………………………………… 036
　 2. 2　 概率论 ………………………………………………………………………………… 039
　 　 2. 2. 1　 随机变量 ………………………………………………………………………… 039
　 　 2. 2. 2　 概率分布 ………………………………………………………………………… 039
　 　 2. 2. 3　 随机变量的数字特征 …………………………………………………………… 041
　 2. 3　 化方法 …………………………………………………………………………… 042
　 　 2. 3. 1　 梯度下降法 ……………………………………………………………………… 043
　 　 2. 3. 2　 牛顿法 …………………………………………………………………………… 044
　 　 2. 3. 3　 拟牛顿法 ………………………………………………………………………… 045
　 2. 4　 神经网络 ……………………………………………………………………………… 046
　 　 2. 4. 1　 神经元模型 ……………………………………………………………………… 046
　 　 2. 4. 2　 单层感知器 ……………………………………………………………………… 048
　 　 2. 4. 3　 多层感知器 ……………………………………………………………………… 049
　 2. 5　 支持向量机 …………………………………………………………………………… 053
　 　 2. 5. 1　 线性 SVM ………………………………………………………………………… 053
　 　 2. 5. 2　 非线性 SVM ……………………………………………………………………… 056
　 参考文献……………………………………………………………………………………… 057
第3 章　 迁移学习基本方法 ……………………………………………………………… 059
　 3. 1　 基于样本迁移学习 …………………………………………………………………… 059
　 　 3. 1. 1　 基于样本迁移基本思想 ………………………………………………………… 059
　 　 3. 1. 2　 基于样本迁移经典方法 ………………………………………………………… 060
　 3. 2　 基于特征迁移学习 …………………………………………………………………… 067
　 　 3. 2. 1　 基于特征迁移基本思想 ………………………………………………………… 067
　 　 3. 2. 2　 基于特征迁移经典方法 ………………………………………………………… 067
　 3. 3　 基于模型迁移学习 …………………………………………………………………… 072
　 　 3. 3. 1　 基于模型迁移基本思想 ………………………………………………………… 072
　 　 3. 3. 2　 基于模型迁移经典方法 ………………………………………………………… 072
　 3. 4　 基于关系迁移学习 …………………………………………………………………… 078
　 　 3. 4. 1　 基于关系迁移基本思想 ………………………………………………………… 078
　 　 3. 4. 2　 基于关系迁移经典方法 ………………………………………………………… 078
　 3. 5　 异构迁移学习 ………………………………………………………………………… 080
　 　 3. 5. 1　 同构迁移 ………………………………………………………………………… 080
　 　 3. 5. 2　 异构迁移 ………………………………………………………………………… 080
　 参考文献……………………………………………………………………………………… 082
第4 章　 深度迁移学习 …………………………………………………………………… 085
　 4. 1　 深度神经网络基础 …………………………………………………………………… 085
　 　 4. 1. 1　 卷积神经网络 …………………………………………………………………… 085
　 　 4. 1. 2　 生成对抗网络 …………………………………………………………………… 092
　 　 4. 1. 3　 网络优化 ………………………………………………………………………… 095
　 4. 2　 深度神经网络微调迁移 ……………………………………………………………… 099
　 　 4. 2. 1　 网络微调基本思想 ……………………………………………………………… 099
　 　 4. 2. 2　 网络微调经典方法 ……………………………………………………………… 099
　 　 4. 2. 3　 网络微调性能分析 ……………………………………………………………… 106
　 4. 3　 深度神经网络自适应迁移 …………………………………………………………… 108
　 　 4. 3. 1　 网络自适应迁移基本思想 ……………………………………………………… 108
　 　 4. 3. 2　 网络自适应迁移经典方法 ……………………………………………………… 108
　 　 4. 3. 3　 网络自适应迁移性能分析 ……………………………………………………… 112
　 4. 4　 深度神经网络对抗迁移 ……………………………………………………………… 114
　 　 4. 4. 1　 网络对抗迁移基本思想 ………………………………………………………… 114
　 　 4. 4. 2　 对抗迁移经典方法 ……………………………………………………………… 115
　 　 4. 4. 3　 网络对抗迁移性能分析 ………………………………………………………… 124
　 参考文献……………………………………………………………………………………… 126
第5 章　 其他迁移学习 …………………………………………………………………… 131
　 5. 1　 部分域适应 …………………………………………………………………………… 131
　 　 5. 1. 1　 部分域适应基本思想 …………………………………………………………… 131
　 　 5. 1. 2　 部分域适应经典方法 …………………………………………………………… 132
　 　 5. 1. 3　 性能分析 ………………………………………………………………………… 140
　 5. 2　 开集域适应 …………………………………………………………………………… 143
　 　 5. 2. 1　 开集域适应基本思想 …………………………………………………………… 144
　 　 5. 2. 2　 开集域适应经典方法 …………………………………………………………… 145
　 　 5. 2. 3　 性能分析 ………………………………………………………………………… 150
　 参考文献……………………………………………………………………………………… 152
第6 章　 迁移学习在动作识别中的应用 ……………………………………………… 155
　 6. 1　 动作识别介绍 ………………………………………………………………………… 155
　 6. 2　 动作识别基本方法 …………………………………………………………………… 155
　 　 6. 2. 1　 动作特征提取 …………………………………………………………………… 155
　 　 6. 2. 2　 动作分类 ………………………………………………………………………… 158
　 　 6. 2. 3　 动作识别深度模型 ……………………………………………………………… 159
　 6. 3　 迁移学习动作识别 …………………………………………………………………… 162
　 　 6. 3. 1　 自适应多核学习动作识别 ……………………………………………………… 163
　 　 6. 3. 2　 多语义分组域适应动作识别 …………………………………………………… 166
　 　 6. 3. 3　 生成对抗学习动作识别 ………………………………………………………… 175
　 参考文献……………………………………………………………………………………… 183
第7 章　 迁移学习在目标检测中的应用 ……………………………………………… 190
　 7. 1　 目标检测介绍 ………………………………………………………………………… 190
　 7. 2　 目标检测经典方法 …………………………………………………………………… 191
　 7. 3　 迁移学习目标检测方法 ……………………………………………………………… 194
　 　 7. 3. 1　 域适应目标检测 ………………………………………………………………… 194
　 　 7. 3. 2　 渐进域适应弱监督目标检测 …………………………………………………… 196
　 7. 4　 常用数据集 …………………………………………………………………………… 198
　 　 7. 4. 1　 PASCAL VOC 数据集 …………………………………………………………… 198
　 　 7. 4. 2　 Cityscapes 数据集和 Foggy Cityscapes 数据集 ………………………………… 200
　 　 7. 4. 3　 Clipart1k 数据集 ………………………………………………………………… 202
　 　 7. 4. 4　 KITTI 数据集 …………………………………………………………………… 203
　 　 7. 4. 5　 SIM 系列数据集 ………………………………………………………………… 205
　 　 7. 4. 6　 目标检测评价指标 ……………………………………………………………… 205
　 7. 5　 方法性能分析 ………………………………………………………………………… 206
　 　 7. 5. 1　 域适应目标检测结果 …………………………………………………………… 206
　 　 7. 5. 2　 渐进域适应弱监督目标检测结果 ……………………………………………… 207
　 参考文献……………………………………………………………………………………… 208
第8 章　 迁移学习在语义分割中的应用 ……………………………………………… 211
　 8. 1　 语义分割介绍 ………………………………………………………………………… 211
　 8. 2　 语义分割经典方法 …………………………………………………………………… 212
　 8. 3　 迁移学习的语义分割方法 …………………………………………………………… 213
　 　 8. 3. 1　 基于全局和局部对齐的域适应语义分割 ……………………………………… 214
　 　 8. 3. 2　 双向学习的域适应语义分割 …………………………………………………… 216
　 8. 4　 常用数据集 …………………………………………………………………………… 219
　 　 8. 4. 1　 GTA5 数据集……………………………………………………………………… 219
　 　 8. 4. 2　 SYNTHIA 数据集 ………………………………………………………………… 220
　 　 8. 4. 3　 语义分割评价指标 ……………………………………………………………… 221
　 8. 5　 方法性能分析 ………………………………………………………………………… 222
　 　 8. 5. 1　 基于全局和局部对齐的域适应语义分割方法结果 …………………………… 222
　 　 8. 5. 2　 双向学习的域适应语义分割方法结果 ………………………………………… 225