课堂学习行为的视觉感知与分析

　　本书致力于在课堂学习行为分析这一精细领域利用基于深度学习的计算机视觉技术推动教育智能改革，为实现个性化教学、提升教学质量、促进教育公平提供一系列方法和策略。本书系统的介绍了计算机视觉技术与课堂学习行为相结合的这一必然发展趋势，从数据集构建、关键技术的模型方法提出、精准的应用实施三个方面展开了细致的论述。其中涉及的计算机任务主要包括面部表情识别、视线估计、头部姿态估计以及人体姿态估计，通过总结过去十余年课题组在这些方面的实践经验，以期为国内探索实现规模化教育与个性化培养的有机结合提供一定的借鉴和指导。

　　刘海，在课堂学习行为分析、学习资源适配、机器学习、数据挖掘、智能信息处理、计算机视觉等方面具有良好的研究基础。近些年来，在国家重点研发计划、湖北省自然科学基金、"香江学者”人才计划等项目的支持下，对上述领域进行了系统而广泛的研究，在理论研究和应用扩展方面取得了大量的成果，积累了宝贵的经验，能熟练掌握相关领域核心算法的设计与实现方法，已在国内外知名期刊和学术会议上发表了学术论文100余篇，其中以作者（通讯作者）发表SCI、SSCI、CSSCI期刊论文80余篇，中科院一区IEEE trans系列18篇，11篇入选ESI高被引论文; 申请国家发明专利30余项，授权6项。曾荣获湖北省科学技术进步一等奖（2020）、高等学校科学研究优秀成果奖（科学技术）科技进步奖一等奖（2019）。

部分 背景与理论
第1章 背景与意义 2
1.1 国家重视课堂学习行为分析的引领作用 2
1.1.1 课堂学习行为分析是落实个性化培养的重要举措 2
1.1.2 课堂学习行为分析是加快教育新基建的重要举措 3
1.1.3 课堂学习行为分析是促进教育“以人为本”发展的重要举措 4
1.1.4 其他国家在“人工智能+教育”领域的行动计划 5
1.2 要解决的问题 6
1.3　国内外的研究现状 9
1.3.1 课堂学习行为的视觉感知 9
1.3.2 分析国内外的研究现状 10
1.4　视觉感知原理 19
1.4.1 计算机视觉驱动的行为感知基础 19
1.4.2 课堂学习行为的理解与认知 21
1.4.3 课堂学习行为的智能评测 21
1.5　总体研究框架 22
参考文献 23
第2章 学习者兴趣建模理论模型 31
2.1　兴趣概念的界定与分类 31
2.1.1 兴趣的概念界定 31
2.1.2 不同角度的分类 32
2.2　兴趣的获取方式与表示方法 33
2.2.1 兴趣的获取方式 33
2.2.2 兴趣的表示方法 33
2.3　学习者兴趣建模 34
2.3.1 学习者兴趣模型的概念框架 34
2.3.2 学习者兴趣模型的表示方法 37
2.4　学习者兴趣模型量化指标分析 38
2.4.1 课堂注意力量化指标 38
2.4.2 课堂参与度量化指标 40
2.4.3 学习情感的量化指标 42
2.5　学习者兴趣模型量化分析技术 43
2.5.1 兴趣量化指标的采集方法 44
2.5.2 单维度的兴趣指标量化技术 48
参考文献 52
第二部分 关键技术
第3章 课堂学习行为数据集构建 56
3.1　头部姿态的数据集 56
3.1.1 采集场景设计与布置 57
3.1.2 方案规划与数据采集 60
3.1.3 数据后处理及数据库设计 61
3.2　人体姿态的数据集 63
3.3　已有的数据集 64
3.3.1 面部表情图像数据集 64
3.3.2 视线估计数据集的介绍 66
3.3.3 头部姿态数据集的介绍 68
3.3.4 人体姿态数据集的介绍 70
3.4 参考鼠标轨迹数据的面部表情图像标注 71
3.4.1 摄像头和鼠标轨迹数据的采集与处理 71
3.4.2 标注方法的选择与数据标准的一致性检验 74
3.5　数据集建立小结 79
参考文献 79
第4章 面部表情识别方法 82
4.1　基础 82
4.1.1 人工神经网络 82
4.1.2 卷积神经网络 86
4.1.3 图卷积神经网络 88
4.1.4 标签分布学习技术 91
4.2 基于高斯先验分布的表情识别方法 92
4.2.1 情感标签分布设计 93
4.2.3 基于标签分布学习的表情识别模型构建 96
4.3 基于图卷积网络与K近邻图的面部表情识别 99
4.3.1 面部表情特性的挖掘 99
4.3.2 基于图卷积网络与K近邻图的情感标签分布构建 102
4.3.3 K近邻图的情感标签分布构建 105
4.3.4 情感标签分布建模与优化 106
4.4　建议及对未来的思考 108
参考文献 109
第5章 视线估计方法 111
5.1　基础 111
5.2 基于复合损失卷积神经网络的视线估计方法 112
5.3　基于头戴式设备的视线估计 115
5.3.1 校准数据的准备 117
5.3.2 HMD的自标定 118
5.3.3 3D的PoR估计 120
5.4　建议及对未来的思考 121
参考文献 122
第6章 头部姿态估计方法 123
6.1　基础 123
6.1.1 头部姿态低容忍性分析 123
6.1.2 精细化头部姿态标签设计 124
6.1.3 姿态表示差异性分析 125
6.1.4 基于矩阵费雪分布的旋转矩阵参数化 127
6.1.5 标签平滑正则化技术 129
6.2　各向异性的分布学习 130
6.2.1 头部姿态的两个观察及验证 130
6.2.2 各向异性的姿态分布模型构建 133
6.2.3 基于极大后验估计的损失函数推导 134
6.2.4 基于空间权重的网络架构 135
6.3　基于三元组架构的头部姿态估计 137
6.3.1 三元组网络架构 137
6.3.2 头部姿态精细化估计 138
6.3.3 基于三元组架构的精细化头部姿态估计模型 139
6.3.4 损失函数和模型优化 140
6.4 基于矩阵费雪分布的头部姿态估计方法 141
6.4.1 矩阵费雪分布模块构建 141
6.4.2 模型架构设计 142
6.4.3 损失函数和模型优化 143
6.5 建议及对未来的思考 144
参考文献 145
第7章 人体姿态估计方法 146
7.1　基础 146
7.1.1 基于深度学习的人体姿态估计方法介绍 146
7.1.2 目标检测 148
7.1.3 非极大值抑制 150
7.1.4 HRNet网络框架 151
7.1.5 姿态估计回归方式 152
7.2　基于骨骼线索感知的HPE模型构建 153
7.2.1 基于骨骼线索感知的高斯坐标编码 153
7.2.2 面向姿态估计的EHPE模型构建 158
7.3　基于像素表征学习的CHRNet网络设计 161
7.3.1 前背景权重组件 161
7.3.2 AF1-measure评估策略 162
7.3.3 CHRNet网络架构 163
7.4　建议及对未来的思考 163
参考文献 164
第三部分 应用与未来趋势
第8章 课堂学习行为的多模态融合 168
8.1　过程性的融合 168
8.1.1 多模态数据融合的层次 168
8.1.2 过程性融合的关键问题 169
8.2　决策性融合 172
8.3　混合性的融合 174
8.3.1 分层信息融合方法 175
8.3.2 混合性融合 176
参考文献 177
第9章 应用与未来趋势 178
9.1　应用1：智慧教室中的学生兴趣模型应用实例分析 178
9.1.1 《酸碱盐》案例基本信息 178
9.1.2 学习行为数据采集 180
9.1.3 学生的课堂兴趣量化分析 182
9.2　应用2：基于鼠标轨迹和面部表情的投入度分析 182
9.3　应用3：基于关键点位置信息的学习者课堂状态分析机制 185
9.3.1 学习者行为识别路线 186
9.3.2 学习行为分析指标 188
9.3.3 学习者行为状态判别系统构建 189
9.4　应用4：基于头部姿态的学习者注意力感知与分析 190
9.4.1 实验数据采集 191
9.4.2 学习者注意力感知分析 192
9.5 未来趋势 195
后记 197