图像质量客观评价方法的研究与实现7889（可编辑）.doc

南京航空航天大学硕士学位论文图像质量客观评价方法的研究与实现姓名:任雪申请学位级别:硕士专业:计算机应用技术指导教师:孙涵20081201南京航空航天大学硕士学位论文摘 要 图像质量评价方法能够有效评价压缩算法和图像系统的性能,对图像处理技术的广泛应用有重要意义。图像质量的客观评价方法以其效率高、费用低、应用领域广泛的特点而广受青睐。随着图像技术的发展,对图像质量的要求也越来越高。传统图像质量客观评价方法暴露出了一些问题,如很多方法只针对特殊的应用领域,性能不稳定、有些方法与主观评价的一致性较低等。这些问题严重制约了图像客观评价方法的发展。 针对上述问题,本文对全参考和无参考图像质量评价方法进行了重点研究,主要工作如下: 1. 基于对结构相似度方法的研究,本文提出一种新的全参考图像质量评价方法。该方法在进行图像质量评价时考虑了图像的结构特征和梯度信息,解决了传统方法在评价噪声和模糊失真时存在的问题。基于 LIVE图像库的实验表明:该方法不但能够合理的评价噪声和模糊对图像质量的影响,而且还能够评价其它失真类型的图像,如压缩图像,评价结果与主观评价有很高的一致性。 2. 影响监控图像质量的主要因素是噪声和模糊,当前无参考图像质量评价方法普遍存在着只适用于一种失真类型的问题。针对这一问题,本文提出了两种无参考图像质量评价方法,能够适用于噪声和模糊引发的图像失真。第一种方法融合了多个传统的评价因子, 使评价结果更加稳定、合理;第二种方法采用鉴别图像失真类型的思想,针对具体的失真类型进行相应的质量评价。基于 LIVE图像库的实验表明:两种无参考图像质量评价方法提高了与主观评价的一致性,具有研究价值和实用价值。基于 ADZS-BF561-EZLITE平台,对第二种算法进行了硬件实现,在实际使用中算法性能良好,完全满足监控图像的实时性要求。关键词:图像质量评价,图像分块,无参考图像质量评价,监控图像I 图像质量客观评价方法的研究与实现 ABSTRACT Image quality assessment methods can effectively evaluate image compression algorithms and the performance of image systems, which are of great significance to wider range of application of image processing technology. The objective image quality assessment methods are widely applauded for their high efficiency, low cost, wide range of applications. With the development of image technology, the traditional methods revealed a number of issues, such as many of them only applied to special fields, unstable performance, some having lower consistency with the subjective evaluation, and so on. These factors seriously restrict the development of objective image assessment methodsIn this context, this article focuses on research of image quality assessment methods both on full and no reference. The main works in this paper are as follows: 1. Based on research of the structural similarity method, a novel full-reference image quality assessment method is proposed. Our method introduces the structural characteristics and gradient of image during evaluating, which solves the problems in traditional methods when utilizing them to evaluate distortion caused by noise and blur. Experiments based on the LIVE image database show that our method can not only evaluate influence of noise and blur reasonably, but also be utilized to evaluate other distortions such as compression, evaluation results are highly consistent with the subjective evaluation results2. Noise and blur are the two main factors that affect the quality of surveillance image. However, most existing no-reference methods can only be applied to distortion of one kind. To overcome this problem, two no-reference image quality assessment methods are proposed, which adapt to distortions of both kind. The first method combines several traditional evaluating factors, performance of which is more stable and reasonable. The second method takes advantage of distortion detection, and then evaluates image quality according to its distortion. Experiments based on the LIVE image database show that evaluation results of our two no-reference assessment methods are highly consistent with the subjective evaluation results, therefore are of great significance both in research and applicationThe second method was alse implemented on hardware platform ADZS-BF561-EZLITE, its practical performance can meet the real-time requirements of surveillance imageKeywords: image quality assessment, image segment, no reference image quality assessment, surveillance image II 图像质量客观评价方法的研究与实现 图清单 图 1.1 参考图像和失真图像的像素示意图.4 图 2.1 SSIM的原理框图.8 图 2.2 Lena原始图像和失真图像.9 图 2.3 QILV的流程图11 图 2.4 噪声和模糊的失真图像.12 图 2.5 Lena实验图像.12 图 2.6 基于 CBM测度的系统框图13 图 3.1 分块流程图17 图 3.2 B的八邻域17 i图 3.3 B的十邻域18 i图 3.4 房屋图.18 图 3.5 分块参数与时间消耗图.18 图 3.6 房屋梯度图20 图 3.7 房屋分块图21 图 3.8 蝴蝶分块图22 图 3.9 房屋的模糊失真图像.22 图 3.10 房屋的噪声失真图像.23 图 3.11 JPEG失真图像.25 图 3.12 综合失真图像.26 图 4.1 运动模糊图像.28 图 4.2 朦胧图像.28 图 4.3 彩色图像.30 图 5.1 CV相对于白噪声的变化.36 图 5.2 UID相对于白噪声的变化36 图 5.3 CCI相对于高斯白噪声的变化.37 图 5.4 校园一角.38 图 5.5 校园一角模糊图像38 图 5.6 monarch的噪声失真图像.40 图 5.7 monarch的模糊失真图像.40 VI 南京航空航天大学硕士学位论文 图 6.1 Caps原始图像和失真图像.43 图 6.2 DMOS、MOS和 QILC质量评价结果图45 图6.3 ADZS-BF561-EZLITE评估板46 图 6.4 Blackfin 内核图.47 图6.5 ADSP-BF561内/外存储器映射图47 VII 图像质量客观评价方法的研究与实现 表清单 表 1.1 绝对评价尺度2 表 1.2 相对评价尺度与绝对评价尺度对照2 表 1.3 参考图像和失真图像的像素3 表 3.1 模糊图像的质量评价比较.23 表 3.2 噪声图像的质量评价比较.24 表 3.3 JPEG图像质量评价的比较.25 表 3.4 综合因素影响的失真图像质量评价比较.26 表 5.1 拉大参数差距的对比表39 表 5.2 纠正 NPSNR的对比表.39 表 5.3 参数消耗时间表39 表 5.4 噪声失真图像滤波前后 SFM值对比.40 表 5.5 模糊失真图像滤波前后 SFM值对40 表 5.6 高效和普通中值滤波时间比较42 表 5.7 NQADT与主观评价结果对照表.42 表 6.1 Caps失真图像的失真参数.44 表 6.2 Caps失真图像的主观评价值.44 表 6.3 Caps失真图像的 QILC值44VIII 承诺书 本人郑重声明:所呈交的学位论文,是本人在导师指导下,独立进行研究工作所取得的成果。尽我所知,除文中已经注明引用的内容外,本学位论文的研究成果不包含任何他人享有著作权的内容。对本论文所涉及的研究工作做出贡献的其他个人和集体,均已在文中以明确方式标明。 本人授权南京航空航天大学可以有权保留送交论文的复印件,允许论文被查阅和借阅,可以将学位论文的全部或部分内容编入有关数据库进行检索,可以采用影印、缩印或其他复制手段保存论文。 作者签名: 日 期:南京航空航天大学硕士学位论文第一章 绪论 1.1 研究的意义 当今社会,多媒体技术的发展日新月异,深刻影响着人们的日常生活。数字技术的发展给人们带来了极大的便利,如数码相机的出现方便了人们出行时留影纪念,公共监控设备的使用可以节省大量人力物力,数字信息的存储节省了大量的实体存储空间。数字技术的发展推动了图像处理技术的进步,同时对图像处理,特别是图像的质量提出了更高的要求。图像质量的评价已经是一个广泛而基本的问题。 图像质量评价主要有以下几个应用领域: 1、 图像增强,主要考虑图像的视觉显示质量是否有所改善; 2、 图像恢复,主要评价图像质量下降的原因,以便于图像恢复或补偿; 3、 图像压缩,评价压缩算法的优劣,权衡压缩率、图像质量、执行效率等多个性能指标,以便于针对不同的应用选取不同的压缩算法; 4、 数字图像采集仪器,通过图像质量的判定来自动调整参数,以取得最优的采集效果。 图像系统的输出一般是供人观察和使用的,因而图像质量的最终评价者是人。但是人的主观评价往往受自身的心情、知识水平、客观环境的影响,因此具有不可重现性,而且有些领域无法使用主观评价,因此图像质量客观评价方法的研究十分必要。 图像质量的客观评价方法主要是采用数学模型来模拟人眼的主观视觉系统,涉及数字图像处理、数学、生理学和心理学等众多学科,是当前图像视频处理领域的基础和前沿问题之一,具有重要的研究和应用价值。 1.2 图像质量评价方法的分类 图像质量评价从方法上可以分为主观评价和客观评价两种。主观评价方法是凭感知者主观感受评价图像的质量。客观评价方法是用数学模型测量图像质量,并将模型的输出值作为质量的评价值或失真的度量。下面对这两类方法做简要介绍。 1.2.1 图像质量的主观评价 国际上已有成熟的主观评价技术和国际标准,例如 ITU-T Rec. P.910 规定了多媒体应用的1 2主观评价方法 ;ITU-R BT.500-11规定了电视图像的主观评价方法 ,就视频质量主观评价过3程中的测试序列、人员、距离以及环境做了详细规定。主观质量评分法 MOS:Mean Opinion Score是图像质量最具代表性的主观评价方法,它通过对观察者的评分归一化来判断图像质量。 1 图像质量客观评价方法的研究与实现 而主观质量评分法又可以分为绝对评价和相对评价两种类型。 绝对评价是将图像直接按照视觉感受分级评分,表 1.1列出了国际上规定的 5级绝对尺度,包括质量尺度和妨碍尺度。对一般人来讲,多采用质量尺度;对专业人员来讲,则多采用妨碍尺度。 表 1.1 绝对评价尺度 妨碍尺度 质量尺度 5分 丝毫看不出图像质量变坏 5分 非常好 4分 能看出图像质量变化但不妨碍观看 4分 好 3分 清楚看出图像质量变坏,对观看稍有妨碍 3分 一般 2分 对观看有妨碍 2分 差 1分 非常严重的妨碍观看 1分 非常差相对评价是由观察者将一批图像从好到坏进行分类,将它们相互比较得出好坏,并给出相应的评分。相对尺度如表 1.2所示。 表 1.2 相对评价尺度与绝对评价尺度对照 分数 相对测量尺度 绝对测量尺度 5分 一群中最好的 非常好 4分 好于该群中平均水平的 好 3分 该群中的平均水平 一般 2分 差于该群中平均水平的 差 1分 该群中最差的 非常差 评价的结果可用一定数量的观察者给出的平均分数求得。平均分数按照公式 1.1计算得到: KN C i ii 1 C 1.1 KN ii 1式中,C为图像属于第 i类的分数,N为判定该图像属于第 i类的观察者人数。为了保证图像i i主观评价在统计上有意义,参加评分的观察者至少应有 20名,其中包括一般观察者和专业人员。 图像质量的主观评价方法的优点是能够真实的反映图像的直观质量,评价结果可靠,无技术障碍。但是主观评价方法也有很多缺点,如需要对图像进行多次重复实验,无法应用数学模型对其进行描述,从工程应用的角度看,耗时多、费用高,难以实现实时的质量评价。在实际2 南京航空航天大学硕士学位论文 应用中,主观评价结果还会受观察者的知识背景、观测动机、观测环境等因素的影响。此外,主观质量评价无法应用于所有场合,如需要进行实时图像质量评价的领域。 1.2.2 图像质量的客观评价 图像质量的客观评价方法是根据人眼的主观视觉系统建立数学模型,并通过具体的公式计算图像的质量。传统的图像质量客观评价方法主要包括均方误差(MSE,mean squared error)45和峰值信噪比(PSNR,peak signal to noise rate) 。均方误差法首先计算原始图像和失真图像象素差值的均方值,然后通过均方值的大小来确定失真图像的失真程度。计算公式如下: 1' 2 MSE ff (1.2) ij ijM × N00iM N j'其中 M、N为图像的长和宽, f 表示原始图像的象素值, f 表示降质后图像的象素值。PSNRij ij作为衡量图像质量的重要指标,基于通信理论而提出,是最大信号量与噪声强度的比值。由于数字图像都是以离散的数字表示图像的像素,因此采用图像的最大象素值来代替最大信号量。具体公式如下: L × L PSNR 10 × lg(1.3) MSE其中 L为图像中像素的最大灰度值,一般采用 255。 上述方法的优点是直观、严格,计算简单,而且可以直接应用于依据“MSE最小”原则设计的图像系统。因此,这类方法成为应用最广泛的图像质量评价手段。但它的缺点也是显而易见的,不妨假设参考图像 Image和两幅失真图像(如图 1.1所示)对应区域内的像素已知,如表 1.3所示: 表 1.3 参考图像和失真图像的像素 参考图像像素值 10 15 20 25 30 35 40 45 50 失真图像Image1 04550 55 失真图像Image2 04540 45 Image1与参考像素间的差异 5 5 5 5 5 5 5 5 5 Image2与参考像素间的差异 5 5 5 5 5 5 5 5 5 失真图像 1和失真图像 2分别与参考图像进行均方差运算,得到的均方差相同,但是这两幅图像显然不同,失真图像 1要比失真图像 2更接近参考图像。文献6具体分析了 MSE性能不稳定的原因,并指出这一缺点是方法本身的缺陷,无法克服。PSNR 只在评价白噪声失真图像时效果良好,而在其它领域也会出现如 MSE一样的不稳定现象,文献7对此进行了深入分析。3 图像质量客观评价方法的研究与实现a Image1 b 参考图像c Image 2 图 1.1 参考图像和失真图像的像素示意图 对图像质量进行客观评价时,根据对原始无失真图像依赖程度的不同,可将图像质量的客观评价算法分成三类:全参考(Full Reference, FR)图像质量评价、半参考(Reduced Reference, RR)图像质量评价和无参考(No Reference, NR)图像质量评价。全参考图像质量评价主要是将失真图像和参考图像逐像素进行比较,得出对失真图像的评价;半参考的图像质量评价是从原始图像和失真图像中分别提取图像的有效特征,如图像的梯度和直方图,通过对有效特征进行比较,得出对失真图像的评价;无参考的图像质量评价则无需任何参考图像的信息,直接提8取失真图像的某些失真因素特征,如图像的边界强度、噪声率、模糊度 等,给出失真图像的客观质量评价。 图像质量评价最终取决于观察者的感觉,所以不论采用上述哪种客观评价方法,目标都是追求客观评价结果与人的主观评价尽可能的一致,即客观评价要以主观评价为准则。 客观评价方法的优点是速度快、费用低、应用领域广,评价结果具有重现性,不受主观因素的影响。缺点是目前只能在某些方面有限度的模仿人眼的主观视觉系统,常会出现与主观评价结果不一致的情况,不同的模型依据具体的应用领域进行不同的条件假设,难以建立适用于任何领域的数学模型。 1.3 国内外研究现状 客观质量评价的早期研究主要集中在传统的误差统计方法上,如清晰度、峰值信噪比(PSNR)和均方误差(MSE)等。随着研究的深入,人们发现这种方法忽视了图像内容对人眼的影响,不能完全反映图像的质量。因此人们采用了更多的方法在更深的层面上做了尝试,下面将根据客观质量评价的三个大类分别简要介绍图像客观评价方面的一些研究现状。 1.3.1 全参考图像质量评价 图像质量客观评价的研究主要集中在全参考图像质量评价方面,而全参考图像质量评价方法又以两个分支为研究热点,分别是基于 HVS生理特性的研究和基于结构相似度的研究。下面4 南京航空航天大学硕士学位论文 介绍这两个分支目前的研究状况。 近年来,随着对人眼视觉系统(HVS)研究的不断深入,国内外研究人员大量采用了基于9-12HVS特性的视频质量评价模型 ,模拟人眼感知世界的生理和心理特征,以期提高客观评价和主观评价的一致性。基于 HVS特性的质量评价方法的典型代表有 Sarnoff实验室提出的 JND13 14(Just Noticeable Difference)模型 ;Watson等提出的 DVQ(Digital Video Quality)模型 ,把很多视觉特性合并到一个简单的算法;Stefan Winkler 提出的 PDM(Perceptual Distortion 15Metric)模型 ,该质量评价基于嵌入视觉空间、时间和彩色感知特性的对比度增益控制模型。 受技术发展的局限,一些视觉特性的具体机理尚不清楚,如人眼的色彩感知特性、整合效应、人脑的感知处理等等,因此,基于HVS的方法都以一定的假设为前提,其评价结果还不能完全与人的主观评价相一致。为此,许多学者尝试用其他方法进行全参考图像质量评价,典型代表是Wang等人于2002年提出的基于结构失真的视频质量客观评价方法(SSIM,structural 16similarity) ,该方法考虑了图像的亮度、对比度和结构信息,却能获得良好的评价效果。此后,很多学者对SSIM进行了深入研究,并做了不同的改进,使其适合特定领域的应用。如杨春17玲 等人使用梯度信息代替原方法中的s函数,改进后的方法适合评价由模糊造成的失真图像;18Santiago Aja-Fernandez 等人在SSIM的基础上提出了基于局部对比度的质量评价方法Quality Index based on Local Variance,QILV,该方法对结构信息丰富,仅由噪声或模糊导致的图像失19真有良好的评价效果;王涛等人 还提出将图像划分为边缘、纹理和平坦区域,然后利用模糊积分融合每个区域像素的结构相似度,取得了良好的实验效果。 此外,也有很多学者综合运用其它知识来提高评价方法的性能。如佟雨兵等人提出的基于20NN与SVM的图像质量评价模型 ,首先利用峰值信噪比(PSNR)和结构相似度(SSIM)作为图像质量的描述参数,然后利用神经网络与支持向量机建立新模型,新模型的性能大大高于21原来的PSNR和SSIM。丁绪星等人提出的一种基于人眼视觉特性的图像质量评价 就是基于小波变换与人类视觉系统的多通道特性相匹配的特点而提出的,其评价结果与主观评价方法的相关性较高。Hamid Rahim Sheikh和Alan C.Bovik基于信息论提出了一种新的图像质量评价方法22(Visual Information Fidelity,VIF) ,汪孔桥提出数字图像的质量评价可以考虑图像的“感23兴趣区”(region of interest, ROI) 。目前各种评价方案仍在实验研究阶段,国际上尚未确立标准的视频质量自动评价模型。 1.3.2 半参考图像质量评价 半参考图像质量评价方法是对全参考图像质量评价方法的简化,它只依赖参考图像的部分特征信息,而无需将参考图像和失真图像的像素进行一对一的比较,因此特征提取和特征比较 5 图像质量客观评价方法的研究与实现 是影响半参考图像质量评价性能的关键因素。 Mathieu Carnec等人一直致力于全参考图像质量评价到半参考图像质量评价的转化,他们主要根据HVS系统提取图像特征,然后对这些特征进行242526比较,已经取得了一系列的进展 ;Guangtao Zhai等人提出的半参考图像质量评价方法3 27M S ,是利用小波变换中的多尺度边缘检测来评价图像的质量。 另外,在特定的应用领域,很多学者也在研究半参考图象质量评价,如Kyungnam Kim和28Larry Davis提出的WVAR 主要评价噪声和模糊造成的图像失真;叶勤等人利用三阶平均信息29累计量对卫星图像质量进行评价 。但这些方法的针对性强,局限性较大,无法推广到其它领域。 1.3.3 无参考图像质量评价 无参考图像质量评价是一个全新的研究领域,虽然这个领域的研究尚处于探索阶段,但已吸引了很多人的关注,呈蓬勃发展之势。目前,公开发表的关于无参考图像质量评价的论文渐渐增多,如文献30提出了三个无参考质量评价指标,分别是边缘强度(Contour-Volume,简称 CV)、噪声率(Noise-Rate,简称 NR)和统一亮度分布(Uniform Intensity-Distribution,简称 UID)。这三个参数分别就图像的边缘、噪声和亮度分布进行了分析,结果与主观的一致性较高。文献31专门研究了噪声对数字图像质量的影响,它在图像分块和噪声检测方面较文献30都有改进;文献32研究真彩图像的色彩问题,其中色彩丰富度(CCI)与人眼对色彩的33感知有很高的一致性;Huitno Luo使用机器学习算法进行人脸质量的检测 ;Kyungnam Kim和 krty Davis利用局部统计量提出一种用于视频质量评价的方法,主要用于评价噪声和模糊的28 34问题 ;殷晓丽 等人提出了一种基于半脆弱性数字水印算法(WIQM)的无参考图像质量评价方法,这种方法只是针对 JPEG图像作质量评价;杨守义等人还提出一种基于高阶统计量的35评价方法 。无参考图像的评价方法完全脱离了对原始参考图像的依赖,其应用范围更加广泛,发展前景更加广阔,正因如此,其研究难度也是最大的。 1.4 本文的主要工作本文主要研究两种图像质量客观评价方法,分别是全参考图像质量评价方法和无参考图像质量评价方法。 首先研究基于结构相似度(SSIM)的全参考图像质量评价方法,分析各个方法的适用领域、优缺点以及是否能够与主观评价保持一致。在此基础上提出一种新的方法?基于局部特征的图像质量评价,首先按照图像结构对图像进行自适应分块,然后根据块内像素的梯度计算块内结构相似度,最后融合块内结构相似度,得到最终的评价因子。新方法重在提高客观评价与主6 南京航空航天大学硕士学位论文 观评价的一致性,拓展全参考图像质量评价方法的应用领域。基于 LIVE图像库的实验验证了基于局部特征的图像质量评价方法的评价效果,并给出相应的实验数据。 其次研究无参考图像质量评价,在分析三种典型方法的基础上,提出两种新的无参考图像质量评价方法,这两种方法都是基于模糊和噪声两种失真对图像进行质量评价。第一种方法改进了传统的评价因子,增加了评价的稳定性和合理性;第二种方法可以区分造成图像失真的原因,并针对不同的失真因素进行质量评价,两种方法均适用于评价监控图像的质量。通过 LIVE图像库进行实验,验证了两种方法的性能。 最后,介绍全参考图像质量评价方法宽泛的应用领域;将无参考图像质量评价方法移植到ADZS-BF561-EZLITE 评估板上,实验发现,无参考图像质量评价方法完全能够满足监控图像最主要的实时性要求。 1.5 本文的组织结构 第一章 绪论,阐述本文研究内容的意义所在,介绍图像质量评价方法的分类,概述当前国内外对图像质量评价方法的研究现状,指出本文主要的研究内容。 第二章 全参考图像质量评价,介绍了三种全参考图像质量评价方法,分析各个方法的理论依据、评价算法、适用领域、试验结果和优缺点。 第三章 基于局部特征的图像质量评价方法,提出一种新的图像分块算法,可以按照图像的结构进行自适应分块,将图像分成不同的结构区域,其次提取像素的梯度,利用梯度计算各个图像块的结构相似度,然后融合各个图像块的结构相似度,求得最终的评价因子,最后利用 LIVE图像库中的素材进行实验,比较该方法与其它方法的评价效果。第四章 无参考图像质量评价,详细介绍三种无参考图像质量评价方法,第一种方法提出了三个图像质量评价的因子,分别可以评价图像的边缘、噪声和亮度分布;第二种方法对高斯噪声有良好的评价效果;第三种方法能够合理的评价图像的颜色。 第五章 监控图像质量评价方法,深入分析第四章介绍的三种方法,结合影响监控图像质量的三个主要因素光强、模糊和噪声,提出两种无参考图像质量评价方法,第一种方法能够增加传统评价方法的稳定性和合理性,第二种方法可以分辨造成图像失真的原因,基于 LIVE图像库的实验验证了这两种方法的性能。 第六章 图像质量客观评价应用实现,介绍全参考图像质量评价方法的应用领域,将无参考图像质量评价方法移植到ADZS-BF561-EZLITE评估板上,并进行代码的优化,其性能完全能够满足监控图像实时性的要求。 第七章 全文总结与展望,对本文研究工作进行总结,并对图像质量评价领域的发展进行展望。7 图像质量客观评价方法的研究与实现第二章 基于结构相似度的图像质量评价 基于结构相似度的图像质量评价方法作为全参考图像质量评价的重要分支,已经成为图像质量客观评价的一个研究热点,它以操作方便,计算简单,与主观评价的相关性高而备受关注。本章将介绍几种典型的基于结构相似度的图像质量评价方法,并对这几种方法进行深入的研究。 2.1 结构相似法(SSIM) 图像都有一定的结构,像素点之间具有特定的联系,这些联系包含了视觉场景中大量重要16的结构信息,基于此,Wang等人提出了基于结构相似度SSIM的图像质量评价方法 。该方法需要失真图像和完好的参考图像,提取两幅图像的亮度、对比度和相似度,然后进行比较,其原理框图如下: 亮度比较参考图像 亮度测量 对比度测量对比度比较 综合比较失真图像 亮度测量 对比度测量结构比较图 2.1 SSIM的原理框图 具体计算公式如下: 2? + Cx y 1 (2.1) lx, y 2 2+ Cx y 12 +Cx y 2 (2.2) cx, y 2 2 + + Cx y 2 + Cxy 3 (2.3) sx, y +Cx y 3x,y分别代表参考图像和失真图像的象素, , , 分别是亮度、对比度和相lx, y cx, ys x , y 12似度的比较函数,这三个函数相对独立,满足对称性、边界性和最大值唯一性 。上述公式中的? 和? 分别是参考图像和失真图像的亮度均值, 和 分别是参考图像和失真图像的标x yx y准差, 是参考图像和失真图像的相关度,计算公式如下: xy8 南京航空航天大学硕士学位论文 N1 x? y? (2.4) xy i x i yN ?1i 1N1 x x (2.5) x iNi 1N1 y y (2.6) y iNi 1N12 1/ 2 x? (2.7) x i xN ?1i 1N12 1/ 2 y? (2.8) y i yN ?1i 1C、C、C是常数。SSIM的核心函数定义为 1 2 3S x, y f lx, y,cx, y, sx, y (2.9) 其中 S x, y 为失真图像与参考图像之间相似性的度量函数, f ?是整合函数。结合公式2.12.22.3式,定义SSIM为 SSIM x, y lx, y cx, y sx, y (2.10) 其中, 0,这 3 个指数可以对亮度、对比度和结构信息进行调整。 (a)Lena原始图像(b)Lena失真图像图2.2 Lena原始图像和失真图像 图2.2中(a)是质量完好的Lena图像,(b)是经JPEG压缩后的失真图像,具有明显的马赛克效应。文献36利用SSIM对上面的Lena图像进行了仿真实验,实验时 u , 和 是在局x x xy部窗口中进行计算,窗口自上而下,由左向右进行移动。整幅图像的质量评价利用每个局部窗口的SSIM均值(MSSIM,mean structural similarity)来表示,如公式2.11所示: K1MSSIM x, y SSIM x , y (2.11) j jKj 1其中 x 和 y 是第 j个局部窗口的像素,K是一幅图像中局部窗口的数量。为了简化计算,仿真j j实验时取 1,C C 2,C 25。实验表明,参数的取值直接影响SSIM的性能。1 2 3当参数取值适合时,SSIM得到的图像质量评价结果接近于主观评价,能够很好的反映JPEG压 9 图像质量客观评价方法的研究与实现 缩图像各部分的失真。 通过对SSIM进行分析研究以及实验,发现其具有以下特点:1、通过感知结构信息的改变来考查图像的失真,能够较好的反映图像对比度的改变。 2、SSIM从某种程度上绕开了自然图像内容复杂多变的特点和多通道相关问题,它没有从神经和生理学的角度通过整合误差来评估图像质量,而是直接评价两幅图像的结构相似性。 3、对于结构丰富的图像,SSIM对噪声引发的失真评价过于严格,即评价值比主观评价值低,评价模糊引发的失真时又较为松弛,即评价值比主观评价值高。具体实验数据见第三章。 2.2 基于局部对比度的质量评价(QILV) 由于 SSIM对噪声和模糊两种失真的评价差异较大, Santiago Aja-Fernandez等人在 SSIM的18基础上提出了基于局部对比度的质量评价方法Quality Index based on Local Variance, QILV ,这种方法对结构信息丰富,仅由噪声或模糊导致的图像失真有良好的评价效果。 图像结构信息丰富时,局部区域内图像的对比度会根据质量的好坏发生相应的变化, QILV就是基于这种变化提出的,其流程如图 2.3所示:首先,将原始的灰度图像 I划分为大小为 M37×N的图像块,使用高斯函数 计算块内每个像素的权值,然后计算加权后像素的块内均值和方差: N Mw I ij ijj11 i2