视频中人的动作分析与识别

　　本书围绕视频中人的动作分析与识别问题，论述了动作分析的基本概念、发展历程以及应用，并介绍了动作分析的相关基础知识、动作分析的典型方法和技术、以及动作分析的常用数据库。然后从动作分析中的不同研究方向出发，介绍了三维人体姿态估计的多种经典方法、动作识别与定位的各类经典方法。最后面向多视角动作识别问题，介绍了视角无关动作识别、跨视角动作识别的经典方法。本书可供从事计算机视觉、模式分类、人工智能以及相关领域研究和应用的技术研发人员参考，也可作为相关专业的高年级本科生和研究生的教材。

　　吴心筱，于2010年获得北京理工大学博士学位。现任北京理工大学副教授，博士生导师。主要研究方向为计算机视觉、图像视频内容理解。在IJCV、IEEE TIP、IEEE TMM等重要国际刊物和AAAI、ICCV、CVPR、ECCV等**国际会议上发表学术论文30余篇。负责国家自然科学基金青年和面上项目、教育部博士点基金等项目。获“2012年中国人工智能学会优秀博士学位论文”荣誉。

第 1章　绪论 001
1．1　动作分析的基本概念 002
1．1．1　特征提取 004
1．1．2　估计器 005
1．1．3　分类器 005
1．1．4　区域搜索 005
1．2　动作分析的发展历程 006
1．3　动作分析的应用 015
参考文献 017
第 2章　动作分析基础知识 027
2．1　局部特征点 028
2．1．1　特征点检测 028
2．1．2　特征点跟踪 030
2．1．3　特征描述子 031
2．1．4　词袋模型 033
2．2　运动检测 034
2．2．1　帧间差分 035
2．2．2　背景减除 036
2．2．3　光流场 038
2．3　成分分析与判别函数 040
2．3．1　主成分分析 040
2．3．2　线性判别分析 042
2．3．3　多重判别分析 043
2．4　最大似然估计 043
2．4．1　基本原理 044
2．4．2　多元正态分布下的参数估计 045
2．5　最近邻分类 046
2．5．1　基本原理 046
2．5．2　距离度量函数 046
2．5．3　近邻个数 047
2．5．4　分类规则 047
2．6　支持向量机 047
2．6．1　最优分类平面 047
2．6．2　线性不可分情况 050
2．6．3　非线性支持向量机 050
2．7　隐马尔可夫模型 052
2．7．1　隐马尔可夫模型的定义 052
2．7．2　隐马尔可夫模型的基本假设 053
2．7．3　隐马尔可夫模型的基本问题 053
2．8　神经网络 054
2．8．1　神经元模型 054
2．8．2　神经网络模型 055
2．8．3　反向传播算法 056
2．9　聚类 058
2．9．1　基本原理 058
2．9．2　K means聚类 058
2．9．3　层次聚类 059
参考文献 060
第3章 动作分析经典方法 065
3．1　动作表示 066
3．1．1　时空特征 066
3．1．2　语义特征 071
3．1．3　深度特征 071
3．2　姿态估计 077
3．2．1　自底向上基于表观的估计方法 078
3．2．2　自顶向下基于模型的估计方法 080
3．2．3　自底向上和自顶向下相结合的估计方法 083
3．3　动作识别 084
3．3．1　单层动作识别方法 084
3．3．2　层级动作识别方法 086
3．4　动作定位 089
3．4．1　时域动作定位 089
3．4．2　时空动作定位 091
3．5　常用数据库 092
参考文献 108
第4章 学习非线性流形空间的人体姿态估计 133
4．1　引言 134
4．2　流形学习方法 135
4．3　人体运动的非线性流形空间 136
4．4　流形空间到原始姿态空间映射 138
4．4．1　映射函数建模 139
4．4．2　流形空间概率分布建模 139
4．4．3　映射函数参数学习 140
4．5　实验 140
4．5．1　三维人手姿态估计 141
4．5．2　三维人体姿态估计 144
4．6　小结 147
参考文献 147
第5章　利用语义知识反馈的人体姿态估计 149
5．1　引言 150
5．2　姿态估计多义性 151
5．3　语义知识建模 152
5．3．1　局部语义知识 152
5．3．2　全局语义知识 154
5．4　语义知识反馈 156
5．4．1　局部语义知识反馈 156
5．4．2　全局语义知识反馈 156
5．5　语义知识反馈用于姿态估计 157
5．5．1　基于Hausdorff距离的动作识别 159
5．5．2　基于局部语义反馈和全局语义反馈的姿态估计 160
5．6　实验 161
5．6．1　实验数据 161
5．6．2　结果分析与比较 162
5．7　小结 165
参考文献 165
第6章　采用增量判别相关分析的动作识别 167
6．1　引言 168
6．2　判别典型相关分析 169
6．3　增量判别典型相关分析 170
6．3．1　更新总典型相关矩阵 171
6．3．2　更新类间典型相关矩阵 172
6．3．3　更新判别矩阵 172
6．4　半监督增量判别典型相关分析 173
6．5　实验 174
6．5．1　Weizmann数据库实验 174
6．5．2　KTH数据库实验 177
6．5．3　鲁棒性验证 180
6．6　小结 182
参考文献 182
第7章　融合多视觉对象的动作识别 185
7．1　引言 186
7．2　动作上下文信息 187
7．3　视觉对象特征表示 188
7．3．1　时空兴趣点特征 188
7．3．2　类相关语义特征 193
7．4　视觉对象关联建模 194
7．4．1　含有隐变量的结构支持向量机 195
7．4．2　关联模型构建 196
7．4．3　关联模型训练 198
7．4．4　关联模型预测 199
7．5　实验 199
7．5．1　实验数据 199
7．5．2　实验结果及分析 200
7．6　小结 206
参考文献 206
第8章　联合原子动作建模的动作识别 211
8．1　引言 212
8．2　原子动作 213
8．3　联合原子动作建模 215
8．3．1　联合模型构建 215
8．3．2　联合模型训练 217
8．3．3　联合模型预测 219
8．4　原子动作自动标注 219
8．5　实验 222
8．5．1　实验数据 222
8．5．2　动作识别结果分析 223
8．5．3　半监督学习方法评估 226
8．5．4　视频描述结果分析 227
8．6　小结 230
参考文献 231
第9章 跨域知识迁移的动作识别与时空定位 235
9．1　引言 236
9．2　弱监督时空动作定位 237
9．3　图像到视频特征迁移 238
9．3．1　图像和视频特征表示 238
9．3．2　图像到视频特征变换 240
9．4　时空子区域候选集合 241
9．4．1　提取兴趣图像块 242
9．4．2　筛选兴趣图像块 243
9．4．3　生成时空子区域候选集合 244
9．5　含有隐变量的迁移支持向量机 246
9．5．1　模型构建 246
9．5．2　模型学习 247
9．5．3　模型预测 249
9．6　实验 249
9．6．1　实验数据 249
9．6．2　实验结果与分析 251
9．7　小结 255
参考文献 256
第 10章 结构化学习下的视角无关动作识别 261
10．1　引言 262
10．2　视角无关动作识别 263
10．3　含有隐变量的核化结构支持向量机 264
10．3．1　模型构建 264
10．3．2　模型学习 265
10．3．3　模型预测 266
10．4　融合多层特征核函数 267
10．4．1　底层视觉特征核函数 267
10．4．2　中层相关特征核函数 268
10．4．3　高层类别标签核函数 269
10．5　实验 269
10．5．1　实验数据 269
10．5．2　实验设计 269
10．5．3　实验结果与分析 271
10．6　小结 275
参考文献 275
第 11章 异构判别分析下的跨视角动作识别 279
11．1　引言 280
11．2　跨视角动作识别 281
11．3　异构线性判别分析 283
11．3．1　总散度矩阵 284
11．3．2　类间散度矩阵 285
11．3．3　分布差异约束 286
11．3．4　局部保持约束 286
11．3．5　优化求解 287
11．4　异构非线性核判别分析 288
11．4．1　总散度矩阵 289
11．4．2　类间散度矩阵 289
11．4．3　分布差异约束 290
11．4．4　局部保持约束 290
11．4．5　优化求解 290
11．5　实验 290
11．5．1　实验数据 291
11．5．2　实验设计 291
11．5．3　实验结果与分析 293
11．6　小结 299
参考文献 300