【精品论文】模糊图像质量的无参评价.doc

精品论文模糊图像质量的无参评价王慈，董海波（上海交通大学电子系，上海 200240）5摘要：随着信息技术的高速发展,数字图像已经成为信息传递的主要方式。在数字图像信号 的采集过程中,往往会因为各种原因导致数字图像模糊。例如，采样率过低，对焦不准等。 在数字图像的处理过程中，也会由于各种操作导致图像模糊，例如均值滤波等。所以，关于 模糊图像的视觉质量评估是一个很重要的评价图像处理方法是否合理以及采样是否充分的10方式。在这篇文章中，我们提出一种模糊图像的质量评估算法。该算法在使用自然图像幅度谱的斜率描述自然图像的模糊度的基础上，通过加入了人眼对对比度的感知模型，克服了自 然图像幅度谱的斜率对图像对比度感知不敏感的缺点。实验结果表明该算法所得出的客观评价结果与主观评价值之间有良好的一致性、准确性和单调性。关键词：图像质量评估；幅度谱斜率；对比度感知15中图分类号：TP751Blurred Image Quality No-reference AssessmentWang Ci, Dong Haibo(Department of electrical engineering, Shanghai Jiaotong Universiy, Shanghai200240)20Abstract: With the rapid development of information technology, digital images have become the main way of information transmission. In acquisition and processing of digital images, images are blurred by a variety of reasons, e.g. the low sample rate, out-of-focus, mean filtering and so on. Therefore, the blurred image visual quality assessment is very important to evaluate the effective of image processing algorithm and the reasonable of the sample rate. In this article, a blurred25image quality assessment algorithm is proposed. The basis of this algorithm is that the slope of the natural image amplitude spectrum can describe the blur degree of the natural image. In order toovercome the shortcoming of the slope of the natural image amplitude spectrum algorithm, acontrast perception model is added to the slope of the natural image amplitude spectrum algorithm. Experimental results between the objective and the subjective assessment show a good30consistency, accuracy and monotonicity.Key words: image quality assessment; the slope of the magnitude spectral; the contrast perception0引言随着信息技术的高速发展,数字图像已经成为信息传递的主要方式。在数字图像信号的35采集过程中,往往会因为各种原因导致数字图像模糊。例如，采样率过低，对焦不准等。在 数字图像的处理过程中，也会由于各种操作导致图像模糊，例如均值滤波等。所以，关于模 糊图像的视觉质量评估是一个很重要的评价图像处理方法是否合理以及采样是否充分的方 式。通常意义上认为，一个锐利的图像通常含有更多的图像细节，更加清晰的物体边界，而 模糊的图像往往是相反的，细节信息不太清晰，物体边界的对比度也比较低，如何控制以及40量化模糊效应在不同的文献中均有不同的方法描述。在文献1中，最早的关于图像模糊度的 评价算法被提出，其目的是评价图像插值过程中带来的模糊噪声。在文献2中，Marichal 等 应用 DCT 系数的直方图分布评价图像的模糊度，这种方法的限制在于只能用于压缩域的图 像。在文献3中，Marziliano 利用模糊图像的边界通常是平滑的特性，通过确定边界处的宽基金项目：教育部博士点新教师基金（20090073120030）作者简介：王慈（1976-），男，副教授，主要研究方向：图像的重建，超分辨率，图像的质量评估. E-mail:Wangci- 2 -度来评价模糊图像的质量。在文献4中，Caviedes 利用包含边界图像块的 DCT 系数的峰态45系数来评价图像的模糊度。在文献5中，Ong 不仅使用图像的边界信息，而且使用图像的梯 度方向等信息来测量边界的平均宽度来标定图像的模糊度。这些基于边界的算法普遍具有以 下局限：过分依赖对于边界的判定，边界的判定不准就直接影响对图像模糊度的判断，而边 界判定对于不同内容的图像通常效果差异很大。在文献6中，Crete 通过量化被模糊的图像 与同一被模糊图像再次被模糊后的差别来衡量图像的模糊度质量评估。在文献7中，Ferzli50等提出一个可识别的模糊（Just noticeable blur，JNB）算法，该算法主要是通过标定一个阈 值来衡量图像中可以被人眼感知的模糊，以此来评价图像的模糊后的质量。综上所述，关于图像模糊度的 NR 质量评估算法主要有以下三个趋势8：1.基于边界的方法，这种方法主要 是通过提取图像边界，通过计算图像边界的扩散来评价被模糊图像的质量。2.基于像素点的方法，这种方法主要是通过计算图像空间的一些特征来评价被模糊图像的质量。3 基于变换55域的方法，这种方法主要是变化域的幅度谱信息来评价被模糊图像的质量。本文提出了一种 基于第三类的模糊图像的质量评价算法, 该算法在使用自然图像幅度谱的斜率描述自然图 像的模糊度的基础上，通过加入了人眼对对比度的感知模型，克服了自然图像幅度谱的斜率 对图像对比度感知不敏感的缺点。本文剩下部分的结构如下:第一节将介绍所需要的基本理论知识,即图像幅度谱的特点和60人眼对比度的感知模型；第二节我们将介绍本文算法是如何来判断模糊图像的质量；第三节 将主要介绍实验的流程以及结果；第四节我们将对本文的算法做出总结以及展望。1理论依据及模型1.1图像模糊度的幅度谱评价模型通常情况下在频率域，模糊图像相比于锐利图像在高频部分的内容更少，表现为高频内65容的退化。有效检测这种情况的方法是通过图像幅度谱 M ( f ) 的斜率来量化，其主要原因是log(M ) µ -a log( f ) 8-9，其中 f 为频率，-a为直线 log(M ) µ -a log( f ) 的斜率。从图 1 中，我们也可以看出图像幅度谱 M ( f ) 的斜率从一定程度上说明了图像模糊和锐利的区别。从图1 中可以看出，越不模糊的图像a 值越小，而越模糊的图像a 值相对越大。对于自然图像而 言，a 的值域为0.7-1.6 10,在文献11中，已经将 HVS 与自然图像的频率幅度谱之间的关系70建立起来。图1模糊图像和锐利图像的图像幅度谱区别Fig.1 the different of magnitude spectrum between blurred images and sharpen images75本节将应用 Field 和 Brady8-9的图像频率幅度谱 M ( f ) 斜率算法，该算法认为 0 £ a £ 1 图像将表现的锐利，a > 1则图像将随着a 的增大而越发模糊。为了更好的说明a 的获取过程，我们将详细介绍a 的计算过程。由于a 是幅度谱的斜率，首先，将 M ´ N 图像做 DFT 变换。- 9 -1F (u, v) =M -1 N -1åå I (m, n) exp(- j2p (um + vn )（1-1）MN m =0 n =0 M NI (m, n) =M -1 N -11åå F (v, u) exp( j2p (um + vn )（1-2）MN u =0 v =0 M N80其中 I (m, n) 为图像的空间表示， F (u, v) 为图像的频率表示， (u, v) 为图像的空间频率坐标。为了更好的体现 M ( f ) 与 -a log( f ) 关系，我们将 F (u, v) 用 F ( f ,q ) 表示，其中 f 为极坐 标频率，q 为极坐标角度。 (u, v) 与 ( f ,q ) 的转换关系如下：2uf = (ç÷2v M M+ ç ÷ )1/ 2 , u Î - , v Î- N , N （1-3）22æ ö æ ö é ùMNê2 2 ú 2 2è ø è ø ë ûq = arctan( v )u85通过计算同一 f 下，所有q 的幅度和，如公式（1-5）M ( f ) = åF ( f ,q )q（1-4）（1-5）M ( f ) 的斜率a x 可以通过直线 -alog ( f ) + log b 的斜率求得8，如公式（1-6）所示：a = arg min | b f -a - M ( f ) |2（1-4）x a2在 Matlab 编程中可以使用 polyfit 函数来实现这一过程。由于a x 的值域为0,+¥ ,为了90以后更好的计算，我们将a 按公式（1-7）8 12做归一化得到 。x1 = 1 -111 + e1 (ax -2 )（1-5）关于其中的参数选择参照文献12的设置 = -3、= 2 。应用公式（1-1）到公式（1-7）可1 2以得到如下图 1-2 流程所示的结果。95图 1-21 的实现流程Fig.1-2 the step of1 measure1.2人眼视网膜视觉系统的对比度评价算法为了更好匹配人眼的主观感知，我们将使用 Debashis13等提出的基于人眼视网膜视觉 系统的对比度量化算法来优化基于幅度谱斜率的算法。Debashis 基于人眼视网膜视觉系统的100算法主要基于局部带限的方法14和中心环绕视网膜感官场模型15-16来衡量图像对比度的感 官质量。局部带限的方法通过定义灰度图像的局部对比度为局部灰度值的变化与局部灰度值 的均值之比14:其中105C ( x, y ) = b ( x, y)l( x, y)b ( x, y ) = I ( x, y )*b(x, y)l(x, y) = I ( x, y )*l(x, y)（1-6）（1-7）（1-8）I ( x, y ) 为空间域图像的表示， ( x, y ) 为像素点空间坐标， b(x, y) 为带通滤波器， l(x, y) 为低通滤波器且该滤波器能通过所有低于 b(x, y) 的频率，* 为卷积操作。从公式 1-8 可以看出此 定义与韦伯-费赫涅尔定理比较相似，该定理很好的描述了人眼在恒定背景下的对比度感知110115120的灵敏度。当考虑视网膜的感知现象的时候，有光传导能力的视神经主要表现为视网膜的两种主要 的视细胞：杆状细胞和锥状细胞15-16。由视网膜光传导过程产生的生物信号在传导的过程中 形成了兴奋场和抑制场15-16。在视网膜系统中兴奋场和抑制场相互作用形成了中心环绕视网 膜感官场，其中中心场和环绕场是互斥的8。如图 1-3 所示：如果中心区域起兴奋作用，这 环绕区域则起抑制作用，反之亦然。图 1-3 中心环绕视网膜感官场13Fig 1-3 Center-surround retinal receptive field在文献17中，高斯差分模型被用来描述灰度信号下中心环绕视网膜感官场，本节也采 用 DOG 模型来描述中心环绕视网膜感官场，其数学表达如下：O ( x, y ) = C ( x, y ) - S (x, y)其中C ( x, y ) = I ( x, y )*g1 (x, y)S ( x, y ) = I ( x, y )*g2 (x, y)（1-9）（1-10）（1-13）125O ( x, y ) 为基于 DOG 的中心环绕视网膜感官场的输出， C ( x, y ) 代表中心场， S ( x, y ) 代表环2 2 2绕场， g1、g2 代表 exp(- 1 / 2sg2 。(x + y)形式的两个高斯滤波器，其中 g1 的标准方差 小于当结合局部带限模型和中心环绕视网膜感官场模型，可以看出 g1 - g2 为一个带通滤波器，同时 g 、g分别为两个低通滤波器，又由于 g 的标准方差 小于 g ，所以 g 是一个可1 2 1 2 2130以通过所有带通滤波器 g - g之下频率的能量，故结合公式（1-8）和公式（1-11）可以定义对比度为：1 21C ( x, y ) = b ( x, y) = O( x, y)（1-11）l( x, y)S ( x, y)C ( x, y ) 可以表示为像素点 ( x, y ) 处的局部带限对比度，为了更好的计算 C ( x, y ) 本节采用13设置 g= M ´ , M = 3 。g2 1135众所周知视网膜是一个多频带选择性通道系统18。而公式（1-13）中的 C ( x, y ) 只是一 个单频道系统的对比度。为了模拟 HVS 的多频率选择性通道系统，本节采用13中的方法来 仿真 HVS 这一系统，通过设置多个 g 来设置多个低通滤波器 g1 通道，同时由 g1 - g2 也可以得到多个带通滤波器通道，这样就可以得到多频带的对比度 Cg1个 g1 把 HVS 的多频带选择性通道系统设置为 24 个通道。( x, y ) 。可以通过设置 242log( 1 )140 = M 2 , ?v = 72p69p¼ 6p 3p（1-12）g1v2 (1 - M 2 )80 80 80 80145其中 v 为峰值频率的中心频率。为了将 24 个通道的对比度所组成的矢量合并成为一个标量，Debashis 使用文献19中关 于亚阈值对比度感知以及超阈值对比度感知的模型来合并 24 个通道的对比度。亚阈值对比 度感知衡量的是人眼对比度感知水平接近可以感知图像中物体模式所需的最小对比度感知 水平。而超阈值对比度感知水平代表对对比度的感知很敏感。亚阈值对比度感知和超阈值对比度感知可以使用 Cg1合并起来。( x, y ) 矢量的 L 阶范数来仿真，这样就很好把多频带的对比度信息CL ( x, y )= (åL 1g1P ´ C ( x, y ) L(1-13)( -1 )g1其中 为范数的阶数，ççæ log æ = 1ö ö2 ÷ ÷ç2 ÷log æ = 1 ö150P = exp ç - è M ø ÷ - exp(- è M ø ´ M 2 )(1-14)ç1 - M 2 ÷1 - M 2155ç ÷è øP 用来确保所有频带的通带幅度的峰值为 1。 CL ( x, y ) 则是一个衡量人眼多频带模型中灰度 图像对比度的标量。在文献13中已经很好的论证了，在 L = 1的时候，亚阈值对比度感知被很好的仿真，而 在 L =¥ 的时候，超阈值对比度感知被很好的仿真。虽然 L 不是固定的值，但是本节只分析 L = 1、¥ 下 CL ( x, y ) 的值，即只考虑最能仿真亚阈值和超阈值感知的数据。2模糊图像的质量评价算法图 2-1 分别含有参考图像以及该参考图像的低对比度失真图像的谱斜率图以及各自全 局 1 值，从图 2-1 中可以看出频率幅度谱斜率对不同对比度的图像并不能很好的将人的感160知体现出来。在图像 2-1 中，很明显参考图像的对比度高，所以其图像视觉感官质量更好。这是由于人眼对对比度的感知很敏感，人眼很容易就判断出参考图像的对比度明显要 比低对比图像的对比度要高，给出的主观评价也会高。而对于幅度谱斜率算法而言，对于这两幅图像的评价值基本一样，参考图像的全局 1= 0.9401 ，而低对比度图像的全局1 = 0.9372 ，在全局谱斜率上基本无法匹配对比度不同的图像对人的感官所带来的主观差 距。165图 2-1 幅度谱斜率算法没考虑图像对比度Fig. 2-1 the illustration of the slope of the magnitude spectrum does not take into account contrast.为了克服幅度谱斜率的这个缺陷，本节将局部谱斜率匹配图以及图像的亚阈值匹配图 和超阈值匹配图合并在一起得到图像的模糊度评价匹配图，170B ( x, y ) = a ( x, y )h ´ (C ( x, y ) ´ C( x, y )1-h(2-1)1 1 ¥175其中 B ( x, y ) 为图像在空间坐标 ( x, y ) 处的模糊度评价值，实际使用中，为了克服有时幅 度谱斜率算法高估图像模糊度的情况，会加入另外一个针对性的低估图像模糊度的算 法，在本文的实际应用中，也加入了一个关于图像锐度的评估器20。该评估器是一个改进 的总变量算子，TV 算子是用来衡量图像块空间一致性的算子，详细的实现过程可以参见文 献20。这本节的模糊度评价匹配图可以公式化为：B ( x, y ) = (a ( x, y )´TV (x, y)h ´ (C ( x, y )´ C( x, y )1-h(2-2)1 1 ¥180在本节实验中，设置h = 0.5 。由于在评价图像是否表现出被模糊，并不是测试图像是否含有 更多的模糊或者锐利的区域。事实上，视觉感知一个图像的模糊或者锐利的程度，主要由 图像最模糊或者最锐利的地方决定8。但是如果只选择最大 B ( x, y ) 值作为衡量的标准，则 可能导致算法的鲁棒性不高，因为在图像中难免有各种噪声，这些噪声可能造成图像虚假 的最大或者最小的模糊和锐利。因此为了保证算法的鲁棒性，可以使用模糊度评价匹配图 中， B ( x, y ) 从大到小排序，排在前 n%的最大值的平均值来衡量图像的模糊度。B(k )N å1 NBI = （2-3）k =1B k( )其中是 B ( x, y ) 从大到小排序得到的包含 B ( x, y ) 中最大 n%的矢量。N 代表图像像素点185190195数量的 n%。3算法性能测试为了测试所提出算法的性能，本文选用 LIVE21-22主观质量库的 gblur 库作为本文实验 的素材。该库的图像是通过对参考图像用不同方差的高斯窗卷积得到，在一定程度上高斯 模糊可以模仿图像采集过程中矢焦所带来的模糊失真。本文将 LIVE 中 gblur 数据库的图像 随机分为训练数据库和测试数据库，两个数据库中的图像没有重叠。在本文的实验中，设 置训练数据库包含 13 张随机选取的参考图像以及其不同程度的失真样本。设置测试数据库 包含剩下的 16 张参考图像以及其不同程度的失真样本。之所以需要一个训练数据库是因为 得到的客观评价值并不直接与主观值线性相关，但是只要客观评价值和主观评价值存在一 种稳定的对应关系，那么我们可通过训练集上的客观评价值和对应的主观评价值做非线性 回归，得出客观评价值和对应的主观评价值之间的匹配关系。在主客观评价值拟合的过程 中，通常用来做非线性回归的方法有两种：多项式拟合和对数拟合。本文所有实验的主客观评价的拟合方式都是按 VQEG23建议的对数拟合方式进行，如下公式 3-1 所示：M ( s ) =b1 - b21 + exp(-(s - b3 ) / b4 )+ b2(3-1)200205210其中 s 为客观评价指数， M (s) 为拟合后的客观评价值， b1、b2、b3、b4 则是通过训练集的主客观值拟合训练得到。然后将测试数据库经过拟合后的客观评价值与测试数据库的主观值 做比较。根据 VQEG23对于图像质量评价算法好坏的评估准则，一个好的图像质量评价算 法应该具备以下三个特性：1.准确性：主、客观评价值之间的差异较小；2.单调性：客观评 价值应随主观评价值的增减而增减；3.一致性：在不同图像和不同环境下，评价性能保持 稳定。通常情况下，使用以下统计量来评价图像质量评价算法的性能：1.主客观评价值之间的相关系数（correlation coefficient，CC）；2.主客观评价值之间的斯皮尔曼等级相关系数（The spearman rank-order correlation coefficient, SROCC）；3.主客观评价值之间的均方误差（Root mean square error，RMSE）和平均绝对误差（Mean absolute error，MSE）；我们随机的进行了 5 次实验，记录每次关于算法性能测试的结果如下表所示。每次实 验的训练集图像以及测试集图像都是随机选出，记录每次关于算法性能测试的结果如下表 所示。表 1 优化后的幅度谱斜率图像质量评估算法的性能验证Tab. 1 Validation of the performance of optimization magnitude spectrums slope algorithm第一次第二次第三次第四次第五次CC0.9280.9240.9310.9380.935SROCC0.9320.9260.9410.9490.938MAE6.4826.7726.2136.0816.242RMSE7.5127.9117.3217.0867.384215从上表可以看出每次算法性能测试结果差别都不大，可以看出本节的算法受不同的训练集和测试集的影响比较小，证明算法性能受图像内容的影响非常的小，有较好的鲁棒性。 为了更好的说明本节算法的性能，我们将本节算法与 PSNR、MSSIM21、以及 VIF24算法做比较。图 3-1 给出了上述几种算法在 LIVE 的 blur 库的主客观值匹配的散点图。220225230235图 3-1 DMOS 与 PSNR MSSIM VIF S3 以及本小节所提算法的散点图Fig. 3-1 the scatter plots of DMOS vs. PSNR MSSIM VIF S3 and the proposed measure图 3-1 中 x 轴为客观评价指数，y 轴为主观评价值，每个坐标中红色曲线为该算法得出的客 观评价和主观评价的拟合曲线，蓝色的虚线为该拟合曲线的 95%的置信区间.从散点图可以 看出本文的算法比 MSSIM 和 PSNR 要好。VIF 算法虽然要比本文的算法要好，但是在实际 应用过程中，由于往往缺乏参考图像，使其使用范围受到很大限制。为了说明考虑了亚阈值匹配图和超阈值匹配图的谱斜率和只使用谱斜率的算法在评价 图像模糊度时的性能区别，分别做出两者的主客观匹配散点图和算法性能指标表，从散点 图图 3-2 中，我们可以看出考虑图像对比度的谱斜率算法的结果（图 3-2（a）与主观评价 值更加匹配，其散点图分布比较均匀，在 95%置信区间的点的数量也多，说明了考虑了图 像对比度的谱斜率算法性能更优。（a）（b）图 3-2 DMOS 与优化后的幅度谱斜率（a）、没优化的幅度谱斜率（b）的散点图Fig. 3-2 the scatter plots of DMOS vs. optimization magnitude spectrums slope algorithm (a) andun-optimization magnitude spectrums slope algorithm (b)240表 3-1 优化后的幅度谱斜率以及没优化的幅度谱斜率算法性能比较表Table 3-1 the performance comparison of optimization magnitude spectrums slope algorithm andun-optimization magnitude spectrums slope algorithmCCSROCCMAERMSEThe proposed measure0.9350.9595.7426.884The slope of spectrum method0.8830.9018.72210.83245同时从根据算法性能表 3-1 中我们也可以直观的看出，考虑了对比度的谱斜率算法与主观评价拟合更好，算法性能的准确性、单调性和一致性都明显的比只考虑谱斜率的算法要高 出很多2502552602652702752802852902953003054结论Field 和 Brady8通过分析模糊图像和锐利图像在幅度谱的特点，发现图像幅度谱的斜率 可以衡量图像的模糊度。而文献25则发现此方法没有考虑人眼对于图像对比度的感知，所 以本章通过加入对图像对比度衡量的算法来优化幅度谱斜率算法。本章使用 Debashis13等提 出的基于人眼视网膜视觉系统的对比度量化算法来优化基于幅度谱斜率的模糊度评价算法。 Debashis 基于人眼视网膜视觉系统的算法主要基于局部带限模型14和中心环绕视网膜感官 场模型1516来衡量图像对比度的感官质量。实验结果表明考虑了图像对比度的幅度谱斜率的模糊感知算法性能远优于 PSNR、 MSSIM 算法。虽然不如 VIF 算法，但是 VIF 算法是全参考算法，在实际应用中如果没有参 考图像就无法使用，而本节的算法是一个无参考算法，无需参考图像，使用范围远超 VIF。参考文献 (References)1 Boult B.E., Chiang M.C. Local Blur Estimation and Super-ResolutionC. Proc. IEEE, Computer SocietyConference on Computer Vision and Pattern Recognition, 1997:821-826.2 Marichal.X, Ma Wei-Ying, Zhang H.J. Blur Determination in the Compressed Domain using DCT informationC. Proc. IEEE, International Conference on Image Processing,1999(2):386-390.3 Marziliano P, Dufaux F, Winkler S,Ebrahimi T. A No-Reference Perceptual Blur MetricC. In Proc. IEEE, International Conference on Image Processing, 2002(3):57-60.4 Caviedes J, Gurbuz S. No-reference sharpness metric based on local edge kurtosis C. In Proc. IEEE, International Conference on Image Processing, 2002(3):53-56.5 Ong E, Lin, Z. Lu, X. Yang, S. Yao, F. Pan, L. Jiang, F. Moschetti. A no-reference quality metric for measuring image blur C. In Proc. Seventh International Symposium on Signal Processing and Its Applications,2003(1)469-472.6 Crete F, Dolmiere T, Ladret P, Nicolas M. The blur effect: perception and estimation with a new no-reference perceptual blur metric C. In Proceedings of SPIE Human Vision and Electronic Imaging XII, 2007 6492:649-20I.7 Ferzli R and Karam L J.A no-reference objective image sharpness metric based on the notion of just noticeableblur (jnb)J, IEEE Transactions on Image Processing, 2009, 18(4) :717 -728.8 Vu C T, Phan T D and Chandler D M. S3: A spectral and spatial measure of local perceived sharpness in natural images J, IEEE Trans. Image Process, 2012,21(3):934-945.9 Field D J. Relations between the statistics of natural images and the response properties of cortical cells J, J. Opt. Soc. Am. A, 1987, 4:2379-2394.10 Knill D C, Field D J, and Kersten D. Human discrimination of fractal images J. J. Opt. Soc. Am. A,1990,7:1113-1123.11 Johnson G M and Fairchild M D. Sharpness rules J. in Proc of IS&T/SID 8th Color Imaging Conference,2000:24-30.12 Graham D J, Chandler D M and Field D J, Can the theory ofwhitening explain the center-surround properties of retinal ganglion cellreceptive fields? J. Vision Research, 2006, 46:2901-2913.13 Sen D, Pal S K. Retinal visual system based con