视觉语言交互中的视觉推理研究

　　《视觉语言交互中的视觉推理研究》的作者牛玉磊博士于2020年在中国人民大学取得博士学会，后前往美国哥伦比亚大学开展博士后研究工作。本书从知识建模和知识推断两方面入手，深入研究了视觉语言交互任务中的视觉推理问题。《视觉语言交互中的视觉推理研究》共五章：第1章主要介绍了计算机视觉与自然语言处理交叉领域中交互类问题的研究背景，并分别从单轮交互、多轮交互、知识偏差三个角度选取了指称语理解、视觉对话、视觉问答三个经典任务展开讨论。第2章主要介绍了单轮交互情形的代表性视觉推理任务，即指称语理解问题，提出了变分背景框架，根据视觉图像和指称语文本的联系及视觉物体之间的关系提取语义背景信息，并根据背景信息对指称语进行定位。第3章介绍了多轮交互情形的代表性视觉推理任务，即视觉对话问题，提出了递归注意力机制，通过视觉指代消解的思想对图像、对话和问题之间的联系进行建模，优化视觉表示。第4章介绍了知识偏差情形的代表性视觉推理任务，即视觉问答问题，基于因果推理提出了反事实视觉问答框架，在训练环境和测试环境的答案分布不一致情况下，通过因果效应的视角提取并去除语言偏差。第5章对本书进行了总结，并对未来研究方向进行了展望。

　　牛玉磊，美国哥伦比亚大学博士后，2015年和2020年于中国人民大学分别获得学士与博士学位。研究方向包括计算机视觉、机器学习、因果推理、多模态学习等，在国际著名学术会议和期刊上发表论文20余篇。担任BMVC 2022领域主席，AAAI 2023、IJCAI 2021高级程序委员会委员等学术职务。获2021年度CCF优秀博士学位论文奖、CVPR 2019视觉对话挑战赛冠军，被评为NeurIPS 2022、ICLR 2021、ICCV 2021的杰出审稿人。

第1章 引言
1.1 研究背景 1
1.2 研究现状 5
1.2.1 指称语理解 6
1.2.2 视觉对话 8
1.2.3 视觉问答 11
1.3 研究内容与贡献 14
1.4 组织结构 17
第2章 单轮交互情形下的指称语理解
2.1 研究概述 20
2.2 相关工作 23
2.3 变分背景框架 26
2.3.1 问题表述 26
2.3.2 指称语理解 29
2.3.3 指称语生成 31
2.3.4 模型实现 32
2.4 实验结果 40
2.4.1 实验设置 40
2.4.2 指称语理解实验结果 44
2.4.3 指称语生成实验结果 55
2.5 小结 57
第3章 多轮交互情形下的视觉对话
3.1 研究概述 60
3.2 相关工作 64
3.3 预备知识 66
3.4 递归视觉注意力模型 66
3.4.1 判别模块 68
3.4.2 匹配模块 69
3.4.3 注意力模块 72
3.5 其他模块 73
3.5.1 语言特征表示 73
3.5.2 视觉特征表示 75
3.5.3 特征优化与融合 76
3.5.4 非线性映射 78
3.5.5 Gumbel离散采样 79
3.6 实验结果 80
3.6.1 实验设置 80
3.6.2 实现细节 82
3.6.3 对比方法 82
3.6.4 实验结果分析 85
3.7 小结 93
第4章 知识偏差情形下的视觉问答
4.1 研究概述 96
4.2 相关工作 101
4.3 预备知识 104
4.3.1 因果图 105
4.3.2 反事实表示 105
4.3.3 因果效应 106
4.4 基于简化因果图的反事实视觉问答 107
4.4.1 反事实视觉问答框架 108
4.4.2 技术实现 110
4.5 基于完全因果图的反事实视觉问答 115
4.5.1 反事实视觉问答框架 115
4.5.2 技术实现 116
4.6 实现细节 119
4.7 实验结果 120
4.7.1 实验设置 120
4.7.2 简化因果图实验结果 122
4.7.3 完全因果图实验结果 134
4.8 小结 137
第5章 总结与展望
5.1 创新总结 139
5.2 未来工作展望 141
5.2.1 视觉推理任务 142
5.2.2 知识建模 142
5.2.3 知识偏差 143