基于眼动跟踪的语义图像检索研究

　　随着网络技术和信息技术的发展，电子商务领域呈现出飞速发展趋势，这促进了消费者在线购物的蓬勃发展，给电商带来了前所未有的发展机遇和挑战。电子商务给消费者提供了更多的在线商品选择机会，同时也为消费者带来了巨大的认知负担。为此，许多电子商务网站给消费者提供关键字的检索功能，以此来减少消费者在商品海洋中选择的盲目性。在线购物过程中商品图片对消费者购买行为有着重要的影响，这是因为图像信息具有形象、直观、易懂和信息量大等特点，图片是人类最重要和最有效的信息获取和交流方式。传统的基于内容的图像检索是对图像视觉底层特征的计算和比较，即“视觉相似”。实际上，消费者对商品图片的理解不仅建立在“视觉相似”上，同时也要求商品图片的“语义相似”，仅仅使用图像处理算法提取底层视觉特征不能充分描述人对商品图片的语义理解。人对图像的理解结合了日常生活中积累的经验知识和个人偏好，并且人是以语义视角下的思维认知模式进行图像理解的，这容易造成人理解的图像语义与图像的底层视觉特征之间存在“语义鸿沟”。为了克服商品图像检索中的“语义鸿沟”问题，本文利用眼动跟踪技术记录人浏览图像时的眼动行为，探讨眼动行为、选择行为和视觉注意计算模型之间的内在联系，并以此作为获取人理解图像语义信息的基础，进一步深入研究眼动行为的语义表达和图像检索问题。

　　胡文婷，女，博士，江苏开放大学商学院讲师，2016年毕业于南京大学管理科学与工程专业，获管理学博士学位。现任江苏开放大学电子商务专业负责人、商学院学术委员会委员、党外知识分子联谊会副秘书长、南京大学商学院工商管理专业博士后、中国计算机协会CCF TCCC协同计算专业委员会、江苏基层社会治理研究协同创新基地研究人员。目前主要从事智能信息处理与分析、决策分析等方面研究。在国内外重要刊物上发表多篇研究论文，其中SSCI、SCI、CSSCI、EI收录论文数十篇，且申请或授权国家发明专利多项。主持或参与国家社会科学基金重大项目、国家自然科学基金项目、博士后科学基金资助项目、江苏省高等学校自然科学研究项目等多项科研项目。

第一部分 认识篇
第1章 绪论
1.1 研究背景和意义
1.2 国内外研究基础
1.2.1 视觉注意的理论研究
1.2.2 视觉注意计算模型研究
1.2.3 视觉注意与眼动跟踪的研究
1.2.4 图像检索研究
1.2.5 基于眼动跟踪的图像检索研究
1.3 本章小结
第2章 眼动跟踪实验的研究基础
2.1 引言
2.2 视觉注意的眼动实验
2.3 眼动的概念与指标
2.3.1 眼动的概念
2.3.2 眼动指标
2.4 眼动跟踪技术概述
2.4.1 人眼结构与视觉原理
2.4.2 眼动记录技术与方法
2.4.3 眼动仪的介绍
2.5 本章小结
第二部分 方法篇
第3章 视觉注意与兴趣选择之间的联系
3.1 引言
3.2 视觉注意计算模型
3.2.1 非均匀采样
3.2.2 底层视觉特征提取
3.2.3 中央周边差操作
3.2.4 特征显著图的融合
3.3 兴趣点的兴趣图
3.4 点击实验
3.4.1 实验目的
3.4.2 实验准备
3.4.3 实验流程
3.4.4 实验结果与分析
3.4.5 讨论
3.5 眼动实验
3.5.1 实验目的
3.5.2 实验准备
3.5.3 实验流程
3.5.4 实验结果与分析
3.5.5 讨论
3.6 本章小结
第4章 基于眼动跟踪的视觉注意分配方法
4.1 引言
4.2 基于区域的图像分割算法
4.2.1 边缘检测法
4.2.2 区域提取法
4.2.3 阈值分割法
4.3 基于模糊核聚类的视觉注意分配策略
4.3.1 视线注意程度描述
4.3.2 传统的模糊聚类算法
4.3.3 眼动跟踪计算模型
4.4 眼动实验
4.4.1 实验目的
4.4.2 实验准备
4.4.3 实验流程
4.4.4 实验结果与分析
4.5 本章小结
第三部分 应用篇
第5章 基于眼动跟踪的语义图像重排序研究
5.1 引言
5.2 基于眼动信息的语义标注
5.3 图像的特征属性描述
5.3.1 颜色特征
5.3.2 纹理特征
5.4 重排序算法
5.5 多类对象的眼动实验
5.5.1 实验目的
5.5.2 实验准备
5.5.3 实验流程
5.5.4 实验结果与分析
5.6 同类对象的眼动实验
5.6.1 实验目的
5.6.2 实验准备
5.6.3 实验流程
5.6.4 实验结果与分析
5.7 本章小结
第6章 融合眼动跟踪的语义图像分类研究
6.1 引言
6.2 眼动赋权后的特征向量
6.2.1 权重矩阵
6.2.2 赋权后的特征向量
6.3 分类算法
6.3.1 支持向量机
6.3.2 朴素贝叶斯
6.4 .眼动和点击实验
6.4.1 实验目的
6.4.2 实验准备
6.4.3 实验流程
6.4.4 实验结果与分析
6.5 本章小结
参考文献
后记