图像超分辨率重建简介_ChenLee_1的博客-程序员信息网_基于重建的超分辨率

技术标签: CV相关  

    图像超分辨率重建技术就是利用一组低质量、低分辨率图像(或运动序列)来产生单幅高质量、高分辨率图像。图像超分辨率重建应用领域及其宽广,在军事,医学,公共安全,计算机视觉等方面都存在着重要的应用前景。在计算机视觉领域,图像超分辨率重建技术有可能使图像实现从检出水平(detection level)向识别水平(recognition level)的转化,或更进一步实现向细辨水平(identification level)的转化。图像超分辨率重建技术可以提高图像的识别能力和识别精度。图像超分辨率重建技术可以实现目标物的专注分析,从而可以获取感兴趣区域更高空间分辨率的图像,而不必直接采用数据量巨大的高空间分辨率图像的配置。


目前超分辨率技术主要有以下两大类:基于重建的方法、基于学习的方法。

1、基于重建的超分辨率技术:

    基于重建的超分辨率方法的基础是均衡及非均衡采样定理。它假设低分辨率的输入采样信号(图像能很好地预估出原始的高分辨率信号(图像)。绝大多数超分辨率算法都属于这一类,其中主要包括频域法和空域法。

    频率域方法是图像超分辨率重建中一类重要方法,其中最主要的是消混叠重建方法。消混叠重建方法是通过解混叠而改善图像的空间分辨率实现超分辨率复原,最早的研究工作是由 Tsai 和 Huang在 1984 年进行的。在原始场景信号带宽有限的假设下,利用离散傅立叶变换和连续傅立叶变换之间的平移、混叠性质,给出了一个由一系列欠采样观察图像数据复原高分辨率图像的公式。多幅观察图像经混频而得到的离散傅立叶变换系数与未知场景的连续傅立叶变换系数以方程组的形式联系起来,方程组的解就是原始图像的频率域系数,再对频率域系数进行傅立叶逆变换就可以实现原始图像的准确复原。

在空域类方法中,其线性空域观测模型涉及全局和局部运动、光学模糊、帧内运动模糊、空间可变点扩散函数、非理想采样等内容。空域方法具有很强的包含空域先验约束的能力,主要包括非均匀空间样本内插、迭代反投影方法、凸集投影法、最大后验概率以及混合 MAP/ POCS 方法、最优和自适应滤波方法、确定性重建方法等。

 

2、基于学习的超分辨率技术

    基于学习的方法是近年来超分辨率算法研究中的热点,它采用大量的高分辨率图像构造学习库产生学习模型,在对低分辨率图像进行恢复的过程中引入由学习模型获得的先验知识,以得到图像的高频细节,获得较好的图像恢复效果。

具体步骤为:

1)将高分辨率图像按照降质模型进行降质,产生训练集。

2)根据高分辨率图像的低频部分和高频部分对应关系对图像分块,通过一定

算法进行学习,获得先验知识,建立学习模型。

3)以输入的低分辨率块为依据,在建立好的训练集中搜索最匹配的高频块。

基于学习的超分辨率方法中关键是建立学习模型,获得先验知识。常用的学习模型有马尔科夫随机场模型、图像金字塔模型、神经网络模型、主成分分析模型等。基于学习的方法充分利用了图像本身的先验知识,在不增加输入图像样本数量的情况下仍能产生高频细节,获得比基于重建方法更好的复原结果,并能较好的应用于人脸和文字等图像的复原。


目前,图像超分辨率重建的研究比较成熟,但距离实用还有较大差距。未来研究方向主要集中在以下几个方面:

1)发展和寻求新的退化模型,使成像模型更加精确和全面,实现对点扩散函数和噪声的精确估计。图像超分辨率增强的成功依赖于准确的、符合实际成像系统特性和成像条件的降模型,而要获得符合实际成像过程的降质模型是十分困难的,通常采用简单、确定的降质模型进行近似,这样的近似模型与实际成像过程差距较大。

2)压缩域的超分辨率重建。传统的超分辨率算法都是针对图像序列,而实际中最常见的图像序列是视频文件。因而下一步的工作可以针对不同的视频压缩格式和编解码技术,在超分辨率算法中综合考虑成像模型和压缩算法带来的图像降质效果,以及运动补偿和编码传输机制,实现压缩域的超分辨率重建。

3)效率和鲁棒性问题。目前的超分辨率算法具有很高的计算复杂度,如何减少计算量,提高算法速度,是下一步值得研究问题。同时,在目前很多算法中都做了各种假设,如照度变等,这在实际应用中是很难满足的,因此需要研究稳健的算法满足实际应用的需要。

4)模糊图像和三维图像的超分辨率研究。模糊一直是图像处理中的一个难点,如何对模糊图像进行超分辨率需要进一步研究。目前针对三维图像的超分辨率研究还很少,如何对三维图像进行建模也是一个值得研究的课题。

5)超分辨率客观评价标准研究。目前对于图像超分辨率结果主要依靠人的主观评价,缺少一种客观的评价标准,现有的 PSNRMSE 等并不能很好的反映超分辨率效果,需要发展一种客观的评价机制。


版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/carson2005/article/details/11631081

智能推荐

Arduino关于旋转编码器程序的介绍(Reading Rotary Encoders)_轩辕泪1020的博客-程序员信息网

旋转或编码器是一个角度测量装置. 他用作精确测量电机的旋转角度或者用来控制控制轮子(可以无限旋转,而电位器只能旋转到特定位置)

springboot 中ResTemplate.getForObject请求如何处理带有list集合的map_执子之手-砥砺前行的博客-程序员信息网

在springboot项目中,我们经常会用@requestParam注解接收GET请求,在用resTemplate.getFobject(String url, Class<T> responseType, Map<String, ?> uriVariables)方法请求其他服务时,会出现接收不到值的请求,需要我们在URL上做拼接处理,示例为:http://10.10.8.60:19051/wmsInnerCenter/warehouse/put/queryPlanPutGoodsB

OSPF特殊区域之stub和totally stub配置(二)_weixin_34209851的博客-程序员信息网

14.我们注意到R1路由学习到的本次实验拓扑中所有的路由,在实际网络应用中,R1路由并不需要学习到整个网络路由。过多的路由条目会导致路由器变大,不利用路由查询,同时也不利于网络的收敛。OSPF网络路由是通过LSA来进行通告。可以限制LSA的泛洪的范围,并辅以适当的汇总路由,从而有效的减少路由表的大小,便于网络的收敛,同时增强网络稳定性。15.配置R1和R2之间的区域...

openSMILE简介_李易安的博客-程序员信息网_opensmile

openSMILE简介openSMILE(open Speech and Music Interpretation by Large Space Extraction)是一个用于信号处理和机器学习的特征提取器,它具有高度模块化和灵活性等特点。openSMILE最基础的功能可用于语音信号特征的提取,当然,它还可以分析其他形态的信号,如视觉信号,医学生理信号等等。openSMILE使用C++编写...

软硬件协同编程 - C#玩转CPU高速缓存(附示例)_weixin_30752699的博客-程序员信息网

写在前面好久没有写博客了,一直在不断地探索响应式DDD,又get到了很多新知识,解惑了很多老问题,最近读了Martin Fowler大师一篇非常精彩的博客The LMAX Architecture,里面有一个术语Mechanical Sympathy,姑且翻译成软硬件协同编程(Hardware and software working together in harmony),很有感悟,说的是要...

【java报错】Unknown character set index for field '224' received from server._小易Smalle的博客-程序员信息网

在捣腾免费数据库时,使用的一个数据库提供商的服务器使用utf8mb4编码,而我的jar包还是八百年前的。然后。。。然后就报错了。。。(1) MYSQL 5.5 之前, UTF8 编码只支持1-3个字节;从MYSQL5.5开始,可支持4个字节UTF编码utf8mb4;如emoji表情需要使用utf8mb4(2) 如果服务器级使用的编码是utf8mb4(在客户端链接后使用sql语句show v

随便推点

Golang标准库:errors包应用_一只coding猪的博客-程序员信息网_errors golang

一. 概述errors包是一个比较简单的包,包括常见的errors.New创建一个error对象,或通过error.Error方法获取error中的文本内容,本质上在builtin类型中,error被定义为一个interface,这个类型只包含一个Error方法,返回以字符串形式返回错误的内容。所以,可以很容易的定义自定义的错误类型,并在返回error接口的方法中返回。// 示例代码func Oops() error { return errors.New("iam an

微信悄悄内测新功能!用了8年终于大变样,网友直呼:期盼已久_鱼么么的博客-程序员信息网

微信发布至今,已经有9个年头左右了。它对我们来讲也越来越重要,每次更新迭代都会引起所有人的注意。最近有消息曝光,微信正在悄悄内测新功能,将语音转文字玩出了“新花样”,不仅速度、准确度提升了,还更加的高效!从前:我们手机里的语音转文字,是只能转换已经发送的语音,或者将朋友发来的消息转换成文字。现如今:如果你想发送文字给朋友,但自己又不太方便输入文字,你可以直接点击底部的输入框并按住说话。之后...

Linux内核调优_凤求凰的博客的博客-程序员信息网_内核调优

文章目录一、优化文件打开数和打开系统进程数1、打开文件最大数临时设置方法:2、文件描述符二、TCP的三次握手和四次断开三、内核参数优化1、BAT企业生产环境内核完整参数:2、Linux内核常见参数详解3、Linux内核常用参数详解四、Linux内核报错剖析1、time wait bucket table overflow错误2、Too many open files错误3、DDOS攻击防护:pos...

I-TASSER连续八届在CASP自动组竞赛中蝉联冠军_weixin_4528312的博客-程序员信息网_casp 竞赛

蛋白质是生命的承载者,几乎支撑着生命的所有功能,细胞内发生的大部分反应都依赖于蛋白质。蛋白质的工作方式和功能取决于它独特的三维结构,也就是我们常说的“结构决定功能”。因此,了解蛋白质的三维结构,是理解生命与疾病的关键。毫不夸张地说,搞清楚了蛋白质的三维结构,就等于我们拿到了打开生命的钥匙。蛋白质折叠问题是《科学》杂志指出的人类在21世纪需要解决的125个科学前沿问题之一。通过蛋白质结构预测破译“第二遗传密码”,是生物学中心法则尚未揭示的奥妙之一,也是结构生物学面临的一项具有挑战性的重大基础性研究问题。

7. 面向对象(续)_bqshiji123的博客-程序员信息网

8. 面向对象之继承与派生8.1 初识继承什么是继承继承是一种创建新类的方式,新建的类可以继承一个或多个父类(python支持多继承),父类又可称为基类或超类,新建的类称为派生类或子类。子类会“”遗传”父类的属性,从而解决代码重用问题(比如练习7中Garen与Riven类有很多冗余的代码)python中类的继承分为:单继承和多继承class ParentClass1: #定义父类 passc

stm32F4系列4:stm32F407芯片内部资源框图和stm32F1芯片框图_ooolmf的博客-程序员信息网

stm32F407芯片框图(stm32f407数据手册P19)stm32F1芯片内部资源框图(stm32F103数据手册P13)

推荐文章

热门文章

相关标签