超分辨率图像视频复原方法及应用

　　近年来，在工业成像检测、视频监控、卫星遥感和航空摄影测量、医疗成像诊断、视频娱乐系统、拍照增强和数字高清等许多领域，超分辨率图像视频复原技术（包括基于机器学习的技术）已成为解决领域应用问题和提升系统性能的重要技术手段。本书系统性介绍超分辨率图像视频复原技术的有关概念、方法和应用，共分为9章，内容包括绪论、超分辨率图像视频复原研究与进展、改进保真项与自适应双边全变分的正则化方法、基于像素流和时间特征先验的视频超分辨率方法、稀疏字典学习与超分辨率复原、自适应稀疏表示结合正则化约束的超分辨率方法、卷积神经网络与超分辨率复原、ESPCN超分辨率技术在车辆牌照识别中的应用和光流法结合ESPCN的视频超分辨率方法。本书内容新颖，理论联系实际，可作为计算机应用、电子信息工程、自动化、机械电子、仪器仪表等相关专业的研究生和高年级本科生、科研人员、工程技术人员的参考书。

　　徐梦溪，女，博士，副教授。2019年6月获南京理工大学控制科学与工程学科博士学位。主持和参与国家自然科学基金2项，省部级科技计划项目3项。发表学术论文20篇，其中SCI/EI检索论文14篇；作为第1发明人取得授权发明专利2项，实用新型专利授权10项，软件著作权12项；获省部级科学技术奖1项；被选入2016年度江苏高校“青蓝工程”优秀青年骨干教师培养对象。主要研究方向为图像处理、信息系统集成与应用。 杨芸，女，硕士，工程师。河海大学大学生创新工程实验室工作。发表论文3篇，申请国家发明专利1项。参与完成了国家自然科学基金项目一项、江苏省高校科研成果产业化推进工程项目一项。

第1 章绪论 1
1．1　引言　1
1．2　超分辨率复原的概念　3
1．3　超分辨率复原方法分类　7
1．4　超分辨率复原质量的评价　8
1．5　超分辨率复原技术的应用　9
参考文献　11
第2　章超分辨率图像/视频复原研究与进展　13
2．1　基于重建的超分辨率复原方法　13
2．1．1　概述　13
2．1．2　基于频域的超分辨率复原方法　14
2．1．3　基于空域的超分辨率复原方法　15
2．2　基于学习的超分辨率复原方法　23
2．2．1　基于浅层学习的超分辨率复原方法　24
2．2．2　基于深度学习的超分辨率复原方法　29
2．3　视频超分辨率复原方法　34
2．4　其他超分辨率复原方法　38
参考文献　40
第3　章改进保真项与自适应双边全变分的正则化方法　47
3．1　相关工作　47
3．2　图像观测模型和代价函数　49
3．3　Tukey 范数构建保真项和权值自适应BTV 正则化　50
3．3．1　双边全变分（BTV）正则化项 ．　50
3．3．2　稳健估计与Tukey 范数函数　51
3．3．3　Tukey 范数构建保真项结合权值自适应BTV 正则化方法　53
3．4　超分辨率复原方法的性能评价　55
3．4．1　标准测试图像的超分辨率实验及算法性能评价　56
3．4．2　文本图像的超分辨率实验及算法性能评价　60
3．4．3　水面近红外图像的超分辨率实验及算法性能评价　62
3．4．4　使用结构相似性SSIM 指标的算法性能评价　63
3．4．5　遥感影像超分辨率实验及算法性能评价　65
参考文献　72
第4　章基于像素流和时间特征先验的视频超分辨率方法　74
4．1　基于视频时间的超分辨率问题描述　74
4．2　空间模糊与运动模糊的形成机制　75
4．3　像素流及退化降质过程建模　77
4．3．1　关于像素流　77
4．3．2　像素流退化降质过程建模　79
4．4　时间特征先验作为解空间约束的像素流超分辨率复原　80
4．4．1　MAP 估计框架下像素流超分辨率复原的贝叶斯推理　80
4．4．2　像素流与基于时间特征先验的建模　81
4．4．3　像素流超分辨率复原结果的估计　83
4．5　基于像素流和时间特征先验建模的时 空超分辨率算法　83
4．6　超分辨率复原算法性能的评价　86
4．6．1　不同算法对测试视频的实验比较及性能评价　86
4．6．2　不同算法对真实视频的实验比较及性能评价　96
参考文献　99
第5　章稀疏字典学习与超分辨率复原　102
5．1　稀疏表示与稀疏字典学习　102
5．2　基于稀疏表示的单帧图像超分辨率方法　105
5．2．1　稀疏表示的局部模型与全局重构的约束增强　105
5．2．2　学习字典对　108
5．3　基于全局分析性稀疏先验的超分辨率方法110
5．3．1　相关工作　110
5．3．2　基于全局分析性稀疏先验的超分辨率图像复原　111
5．3．3　算法性能的评价　116
参考文献　120
第6　章自适应稀疏表示结合正则化约束的超分辨率方法　123
6．1　引言　123
6．2　非局部自相似先验的正则化技术策略　125
6．3　自适应稀疏表示和改进的非局部自相似正则化项及SR 算法　126
6．3．1　图像块几何结构信息分析和自适应稀疏表示　126
6．3．2　改进的非局部自相似正则化　128
6．3．3　基于自适应稀疏表示结合改进的非局部自相似正则化算法　130
6．4　超分辨率复原算法性能的评价　133
6．4．1　参数设置　134
6．4．2　算法对于不同训练样本集的稳健性实验及性能评价　134
6．4．3　无噪和加噪情况下的实验及算法性能评价　136
6．4．4　重构计算效率评价　139
参考文献　140
第7　章卷积神经网络与超分辨率复原　143
7．1　卷积神经网络　143
7．1．1　引言　143
7．1．2　卷积神经网络基本原理　145
7．1．3　前向传播与反向传播　156
7．2　图像/视频样本数据集　158
7．3　基于卷积神经网络的超分辨率复原　160
7．3．1　基于深度的卷积神经网络的超分辨复原方法　161
7．3．2　基于高效的亚像素卷积神经网络超分辨率复原方法　63
7．3．3　基于深度递归卷积网络的超分辨率复原方法　164
参考文献　167
第8　章 ESPCN 超分辨率技术在车辆牌照识别中的应用　169
8．1　引言　169
8．2　基于ESPCN 的单帧车辆图像超分辨率复原　172
8．2．1　构造车辆 车辆牌照图像数据集和训练集及测试集　172
8．2．2　单帧车辆图像超分辨率的ESPCN-VI 模型　173
8．3　车辆图像超分辨率复原算法的性能评价　177
8．3．1　使用常规定量指标的算法性能评　177
8．3．2　使用车辆牌照识别正确率指标的算法性能评价　180
参考文献　183
第9　章光流法结合ESPCN 的视频超分辨率方法　185
9．1　关于光流法　185
9．2　光流法帧间运动估计与ESPCN 模型　188
9．2．1　视频超分辨率复原过程　188
9．2．2　光流法相邻帧间运动估计结合ESPCN 的模型结构　191
9．3　视频帧的超分辨率性能评价与分析　192
9．3．1　数据集及参数设置　192
9．3．2　算法性能的评价　195
9．4　帧分辨率与帧率的扩增　199
9．4．1　视频帧超分辨率与插帧技术　200
9．4．2　视频超分辨率实验与分析　201
参考文献　205