快速黑白图像自动上色技术研究.doc

《快速黑白图像自动上色技术研究.doc》由会员分享，可在线阅读，更多相关《快速黑白图像自动上色技术研究.doc（7页珍藏版）》请在三一办公上搜索。

1、快速黑白图像自动上色技术研究曾靓 ,杨盈昀(中国传媒大学 信息工程学院 ,北京 100024 )摘要 :黑白图像自动上色是通过一种算法 ,让计算机能够自动地在两幅图像之间传递颜色信息 ,使目标图像 (灰度图像 )的颜色能够带有源图像 (彩色图像 )的特征 。本文对目前常见的三种上色算法进行了研究与改进 。基于灰度 直方图的 H ist算法上色速度非常快 ,作者提出基于邻域相关性的改进方法 ,使得该算法在保证上色速度的前提下 提高了上色质量 。金字塔算法是一种基于图像分层的算法 ,本文利用灰度直方图对图层上色进行了改进 ,从而大 大提高金字塔算法的上色速度 。快速上色算法是在经典算法 W e l

2、sh算法的基础上 ,利用隔行扫描和邻域相关性进 行了改进 。关键词 : 颜色传输 ;灰度直方图 ;邻域相关性 ;漏色率中图分类号 : TP31714 文献标识码 : A 文章编号 : 1673 - 4793 ( 2009 ) 04 - 0055 - 07The Re search on Fa st A lgor ithm for Automa t icGraysca le Image Color iza t ionZEN G L iang, YAN G Ying2yun( Info rm a tion Enginee ring Schoo l, Comm un ica tion U n ive

3、 rsity of Ch ina, B e ijing 100024 )A b stra c t: Grey im age au to2co lo rizing is tha t the comp u te r can au tom a tica lly tran sfe r co lo r info rm a tionbe tween the two im age s th rough an a lgo rithm and the ta rge t im age s ( gray im age s) can be had co lo r cha rac te ristic s from so

4、u rce im age s ( co lo r im age s) 1 Th ree a lgo rithm s have been stud ied and imp roved in th is p ap e r1 W e p ropo sed imp roved m e thod ba sed on ne ighbo rhood re la tivity fo r h istogram 2ba sed a lgo rithm , th is m e thod imp rove s qua lity of co lo rizing p ic tu re s w ithou t reduc

5、ing the sp eed1Pyram id a lgo rithm is a k ind of a lgo rithm ba sis on im age laye r, and th is p ap e r m ake s u se of h istogram imp roving laye r co lo rizing, the refo re inc rea sing the sp eed of Pyram id a lgo rithm 1 Fa st a lgo rithm ba sed on W e lsh a lgo rithm is mod ified w ith in te

6、rlaced scann ing and ne ighbo rhood re la tivity1Key word s: co lo r tran sfe r; h istogram; ne ighbo rhood re la tivity; no2co lo rizing ra te图像上色的效果 。判断自动上色算法优劣的两个关键指标是图像上色的质量和上色的速度 。为了追求 质量与速度的最优平衡 ,快速上色算法也层出不穷 。 本文引入邻域相关 性 3 , 灰 度直 方 图等 新方 法 , 对 某些快速算法进行改进 ,使之兼具上色质量与速度的优势 。为了客观评价图像上色质量 ,作者提出了“漏1

7、 引言近年来 ,科学家们提出了很多种自动上色的算法 。这些算法的目标非常一致 ,即把源彩色图像的 色彩转移到目标黑白图像中去 ,形成具有目标图像的外观 ,但色彩感知为源图像的输出图像 ,达到黑白收稿日期 : 2009 - 07 - 20作者简介 :曾靓 ( 1987 - ) ,女 (汉族 ) ,江西南昌人 ,中国传媒大学信息工程学院硕士研究生 。 E - m a il: zengliang1987 1261com色率 ”指标 。通过对漏色率的分析 , 可以客 观量 化的评价图像上色质量优劣 ,而不再以人眼的主观判 断作为评价上色质量的唯一标准 。判断灰度图像中每个像素点的灰度等级 ,在彩色图像

8、中搜索能与之对应的灰度级别 ,并且把该灰度等 级的 、平均值作为颜色信息传递给灰度图像的 像素点 ,该灰度像素点的 l值仍然保留原值 。这样 灰度像素点就拥有了完整的 l 颜色信息 。( 4 )搜索邻 域 , 完成 全图 上 色 。在 完成 了粗 略 上色之后 ,我们发现灰度图像中有一些像素点在彩 色图像中找不到所对应的灰度等级 ,换句话说 ,也就 是彩色图像中并不存在这一灰度等级 。于是就更谈不上平均的 、值了 。这种情况下 ,这些像素点只 有保留下来的 l值 ,并没有赋予颜色 。所以部分上色后的图像仍然存在许多未上色的黑白像素 。根据 邻域的相关性和颜色的连续性 ,本文提出了基于邻 域搜索

9、的方法来修正这一缺陷 。首先 ,判断部分上 色后图像中每个像素点的 、值 。若图像中存在 、值都为零的像素点 A ,我们就认为 A 点的灰度 等级在彩色图像中找不到匹配 ,没有完成 、值的 传输 。在这种情况下 ,搜索 A 点周围 3 3 的邻域 , 一旦发现存在 、值不为零的 B 点 , 就把 B 点的 、值赋给 A。这样 A 点就有了 、值 ,可以构成 完整的 l 颜色空间 。( 5 )将完成上色的图像重 新 转换 到 R GB 色 彩空间 1 。2 结合邻域相关性的 H ist算法改进方法因为图像的轮廓信息仅仅由其灰度值的变化来决定 ,所以灰度直方图在一定程度上反映了图像的 形状区域 。

10、因此 ,可以通过颜色图像和形状图像的 灰度直方图映射 ,将颜色图像中对应灰度等级的 、 均值传递给形状图像中各像素点 , 从而得到一幅 快速上色的彩色图像 。H ist 5 改进算法流程如图法具体步骤描述如下 :1 所示 。 H ist改进算3 金字塔算法的改进基于影像 金字 塔分 层 技术 的金 字 塔算 法 4 在上色质量方面非常有优势 ,它可以保证上色后的图 像颜色没有断层 ,整体色彩连续柔和 。但是该算法 在上色速度方面很不尽如人意 。于是作者结合灰度 直方图改进算法在速度上体现出的优势 ,对金字塔 算法进行了改进 。金字塔改进算法流程如图 2所示 :金字塔改进算法具体步骤描述如下 :

11、( 1 )将灰度图像及彩色图像的色彩空间由 R GB转换为 l 1 。( 2 )以灰度图像的亮度分布为主 , 调整彩色图 像的亮度值 ,以减少两图像的差异度 ,达到更好的匹配效果 。( 3)把原灰度图像作为 leve l0,当把 leve l0中的像 素由四个聚集成一个像素时即可得到图像 leve l1。( 4 ) leve l0图像采用上述改进的 H ist算法完成图 1 改进后的 H ist算法流程图( 1 )将灰度图像和彩色图 像分 别 从空间转换至 l 色彩空间 1 。R GB 色 彩( 2 )计算灰度 等 级 , 完成 亮度 重 映射 。由于 颜色图像和形状图像的直方图取 值不 一定

12、 在 同一 范 围 ,那么如果将一幅亮度值很低的颜色图像与一幅 亮度值很高的形状图像的直方图进行比对将会出现 较大的误差 ,因此 ,需要对颜色图像进行以形状图像 为基准的亮度调整 。( 3 )计算各灰度等级的平均 、值 ,完成部分 上色 。部分上色的过程实际上就是将颜色图像与形 状图像的灰度直方图按照灰度等级进行映射比对的 过程 。首先 ,依据灰度重映射后的灰度等级 ,统计颜 色图像中每个灰度等级像素的 、平均值 。然后第 4 期曾靓等 :快速黑白图像自动上色技术研究57占用资源多 ,并不是一种理想的方法 。快速算法利用隔行扫描的方式 ,只对黑白图像的奇数行进行彩 色图像全图搜索 ,这样大大缩

13、短了搜索的时间 。而 偶数行的像素则利用邻域相关的特点 ,在已经找到 的奇数行像素的匹配点邻域范围内进行搜索 。通过以上的搜索方法 ,上色速度成倍的提高 。 快速算法具体步骤与 W e lsh 算法大致相同 ,只是把全域匹配的步骤改为隔行扫描搜索 。把灰度图 像中奇数行每个像素点与彩色图像所有像素点进行 匹配计算 ,寻找其匹配的彩色图像像素点 。找到彩色像素点后 ,把匹配像素的 值传递给灰度像素 , 这样 ,灰度图像的奇数行像素就完成了上色 。然后 进行相关邻域匹配搜索 。由于图像的内容具有一定 的稳定性 ,所以灰度图像中剩余未上色的偶数行像 素点可以利用邻域相关性进行快速上色 。偶数行像素点

14、只需要在相邻奇数行像素点匹配像素的 3 3 邻域中进行搜索 ,而不再需要全图搜索 。最后 ,把匹 配彩色像素点的 值传递给灰阶像素 ,完成上色 。图 2 改进后的金字塔算法流程图上色 , leve l1 图 像 则 采 用 W e lsh 算 法 2 进 行 上 色 。分别得到完成上色的 leve l0 图片和 leve l1图片 。( 5 )利用 leve l1 图片对 leve l0进行一致化修正 , 这样可以使上色后图像的颜色更柔和 ,颜色变化也 比较连续 。5 实验结果与分析l 空间重新转换( 6 )把修正过的彩色图像从回到 R GB 彩色空间 1 。511 上色效果比较4 基于隔行扫

15、描的快速算法51111 各种改进算法比较以下列出了各种改进算法的上色效果图片 。通 过对图片上色效果比较 ,可以分析各种算法在上色 质量方面的优劣 。由实例 1这组图片看出 , W e lsh算法上色的 ( c )图片色彩最为逼真 ,边缘清晰分明 。而 ( d ) 图片出 现少许未完成上色的像素点 , 但整体效果和 W e lsh 算法相近 。 H ist算法上色的 ( e ) 图片颜色层次比较 少 。实例 2中 W e lsh算法上色的 ( c )图片颜色转换 不柔和 ,颜色变化不连续 ,上色的误差比较大 。H ist在经典算法 W e lsh 算法 2 的基础上 ,作者引入隔行扫描以及邻域

16、相关性 3 的概念 ,提出了一种新 的快速算法 。该算法的上色质量与 W e lsh 相当 ,但是速度却相比提高了 2 - 3 倍 。该算法利用邻域相 关性和隔行扫描的方法 ,大大缩小搜索的范围 ,使全 图搜索匹配变成小邻域的搜索匹配 ,最大限度的降 低了搜索代价 ,提高上色速度 。W e lsh算法中 , 黑白图像需要逐 点的 在 彩色 图 像中进行全图搜索匹配 ,这种搜索策略耗费时间长 ,( a)目标图像( b)源图像( c) W e lsh算法( d)快速算法( e) H ist改进算法灰度图像上色效果实例 1( f)金字塔改进算法图 3( a)目标图像( b)源图像( c) W e l

17、sh算法( d)快速算法( e) H ist改进算法图 4 灰度图像上色效果实例 2( f)金字塔改进算法算法上色的 ( e ) 图片颜色柔和且连续 , 但是同样存在颜色层次少的问题 。 ( f) 图片体现出了金字塔算 法的优势 ,颜色变化细致 ,边缘过度柔和 。实例 3 中 W e lsh算法上色的 ( c)图片颜色转换粗糙 ,图像颜色呈现颗粒状 。H ist算法上色的 ( e ) 图片颜色比较柔和 ,但可以看见某些 过 度灰 度级 的 像素 没有 上 色 。( f)图片颜色变化细致 ,边缘过渡平滑 。( a)灰度图像( b)源图像( c) W e lsh算法第 4 期曾靓等 :快速黑白图像

18、自动上色技术研究59( d)快速算法( e) H ist改进算法图 5 灰度图像上色效果实例 3( f)金字塔改进算法色的图片做比较 ,可以清楚直观的看到改进算法对图片上色质量的影响 。51112 算法改进前后比较用原始算法上色的图片与用改进后算法进行上( a)目标图像( b)源图像( c) W e lsh算法( d)快速算法图 6 W e lsh算法改进前后上色效果比较( a)目标图像( b)源图像( c) H ist算法( d) H ist改进算法图 7 H ist算法改进前后上色效果比较( a)目标图像( b)源图像( c)金字塔算法( d)改进金字塔算法图 8 金字塔算法改进前后上色效

19、果比较图 6 中 的 快 速 算 法 是 基 于 隔 行 扫 描 改 进 的W e lsh算法 ,由该组图片可以看出快速算法的边缘 比较突兀 ,图像整体的颜色平滑度都不如 W e lsh 算 法 ,并且存在漏色的问题 。由图 7 可以看到 ,改进后的 H ist算法上色非常完整 ,改善了之前 H ist算法有部分灰度等级像素无法上色的问题 。图 8 中的 ( c ) 图与 ( d)图相比较 ,可以发现改进后的金字塔算法 上色更加柔和 ,颜色也比较正确 。方面分析各种算法的优劣 。下表中列出了实验所采用的八幅图片及尺寸 。512 上色时间比较51211 各种改进算法比较通过对图片上色时间的对比

20、,可以从上色速度表 1实验所采用的八幅图片图 9 各算法上色时间折线图 (时间单位 : s)图 10 算法改进前后上色时间柱形图 (时间单位 : s)图 9的纵轴为对数刻度 ,表示上色的时间 。由上面的分析我们可以看出 , W e lsh 算法的上色速度 是最慢的 。这是由于 W e lsh算法需要对图像进行全 域的匹配搜索 。快速算法采用基于隔行扫描的匹配 搜索 ,把速度提高了 3 倍左右 。改进的金字塔算法结合了 H ist快速上色算法 , 相比原金字塔算法 , 速 度有了很大的提高 。 H ist算法完全跳出原有的搜索 策略 ,采用灰度级匹配上色 ,所以上色速度最快 。51212 算法改

21、进前后比较改进后的算法 ,在上色的速度方面有不同程度 的提高 。下图表示以上 8幅图片采用不同算法上色 的平均时间 。从该图可以清楚的看出算法改进前后 上色时间的差异 。由下图可以看出 ,改进后的算法速度都有了大 幅的提高 。H ist算法由于其本身上色速度很快 ,所 以平均上色时间并没有明显的缩短 ,改进前后都保 持在 015 秒 左右 。快速 算 法在 经过 隔行 扫 描 改 进 后 ,速度较之于 W e lsh 算法提高了 2 倍多 。金字塔算法因为结合了 H ist算法中灰度直方图匹配的速 度优势 ,上色时间也有很大的改善 。513 漏色率分析比较快速算法以及 H ist算法上 色都

22、存 在一 些灰 度像素点在源图像中都无法找到匹配像素的问题 ,虽 然是出于不同原因 ,但是这些无法精确匹配的点确实是对上色质量造成了不容忽视的影响 。为了统计 这些上色不准确的点 ,本文提出漏色率的概念 ,清晰 客观的体现出每种快速上色算法与 W e lsh算法的上 色质量的差距 。漏色率成为判断图像质量的一个量 化标准 , 弥补人为主观评价的不精确性 。在 W e lsh算法中 ,每个灰度像素都进行全图搜索匹配 ,在源图 像中选择误差最小的像素进行匹配 ,故目标图像中 所有的像素都应该能在源图像中找到匹配像素 。所 以 ,漏色率应以 W e lsh算法为基准 ,采用 W e lsh上色 的图

23、片 ,其漏色率为 0。计算公式如下 :E (W , A ) = P /N 3 100 % E为其他算法与 W e lsh 算法的效果差距 , W 表示 W e lsh算法 , A 表示其他算法 , P 为没有准确上色 像素点的总数 , N 个图片的总像素数 。实例 1实例 2实例 3实例 4实例 5实例 6实例 7实例 8图 片尺寸2123 136136 3 148175 3 1311893 139175 3 131162 3 1073603 268291 3 253第 4 期曾靓等 :快速黑白图像自动上色技术研究61滑 ,但是颜色的层次比较少 ,而且在图像灰度平滑过度的情况下容易出现颜色断层

24、的现象 ,可能造成某一 灰度范围的像素全部都没有上色 。所以只有当图像 的灰度等级划分较为明显 ,或图像区域的纹理特征较 分明时 ,采用 H ist算法进行色彩迁移或上色才能达到很好的效果 。但是 H ist算法的优点在于上色的速度 ,51311 造成漏色的原因快速算法是基于隔行扫描的算法 。奇数行像素 因为是搜索彩色图像全图进行匹配 ,所以都能够在源彩色图像中找到匹配像素点 。但是偶数行的像素 只采用了 3 3的邻域搜索匹配 ,故必然会存在无法 在源图像中找到正确匹配点的像素 。正是这些无法 正确匹配的像素导致了漏色的产生 。H ist算法是基于灰度直方图的算法 。虽然彩色源图像的亮度直方图

25、已经以灰度图像的直方图为基 准进行了调整 ,但是结果也只能使两幅图像的直方图 变得相似 ,不可能达到完全匹配 。正是由于这个原 因 ,灰度图像中一些像素点的灰度级别在彩色图像中 可能并不存在 ,这样就无法正确的完成颜色传递 。51312 各种算法漏色率的比较我们仍然以表 1 所示的八幅图像进行实验 ,得 到图 11所示的漏色率的对比图 。这样我们就可以用量化的标准来判断各种算法的上色质量 ,而不再 依靠人的直观感觉来评价图像质量 。由图 11可以看出 ,快速算法的漏色率很高 ,而 H ist算法的漏色率相对较低 。快速算法中漏色的点 是分散在偶数行中 ,所以上色图片一般会出现颗粒状颜色误差 ,

26、图像颜色的平滑度比较差 。而 H ist算 法中漏色的点集中在某一灰度级别上 ,所以漏色可 能是成块出现的 。2W e lsh算法的时间复杂度为 F ( n ) ,而 H ist算法的时间复杂度仅仅为 F ( n) ,这样 H ist算法的速度优势就 显现出来了 。金字塔算法的处理过程比较复杂 ,但是 它克服了 W e lsh算法中像素没有连续性的缺点 ,上色后的图片颜色变化连续且柔和 ,而且改进后的金字塔 算法速度也提升到一个可以接受的范围 ,所以相比之 下 ,改进后的金字塔算法是性能最为优异的算法之一 。但是 ,我们还无法得到一种上色质量与上色速 度都能令人十分满意的方法 。如何能使这两者

27、达到双赢是本课题研究的最终目标 。在提高质量方面 , 越来越多的匹配指导因素被提出 ,而不是仅仅依靠 亮度均值和亮度方差来作为匹配搜索的唯一标准 。 比如包含有图像非线性性质的斜度和峰度都可以指 导像素的匹配 。在提高速度方面 ,利用树状结构尽可能的使像素归类 ,使匹配的过程有明确的目标 ,而 不至于盲目地进行全图搜索 。综合考虑上色的质量 与速度 ,并能很好的把两者有机结合起来 ,这就是本 课题未来的方向 。参考文献E Reinhard,M A shikhm in, B Gooch, P Shirley1 Colortransfer between images J 1IEEE Comput

28、erGraphics and App lications, 2001, 21 (5) : 34 - 411W Tom ihisa, A M ichael, M Klaus1Transfer color to grayscale images A 1 Computer Graphics Proceedings, Annual Conference Series, ACM SIGGRAPH, San Autonio, Texas, 2002: 277 - 2801李建明 ,叶飞 ,于守秋 ,钱昆明 ,甘小方 1 一种快速灰度图像彩色化算法 A 12007 , 31张佑玮 1自 动 灰 阴 影 像

29、上 色 系 统 A 1A u tom a tic graysca le im age co lo riza tion12006, 71杨祎 1 黑 白 图 像 自 动 上 色 技 术 研 究 与 仿 真 A 1The R e sea rch and Em lua to r of Grey Im ageA u to - co lo rizing12008 , 51(责任编辑 :宋金宝 ) 1 2 图 11漏色率比较图 3 6 结论 4 通过对以上各算法的分析研究可以看到 ,快速算法比 W e lsh算法速度快了 2 - 3 倍 ,但在提高速度的 同时也把 W e lsh算法的缺陷放大了 ,颗粒状的噪点更 加明显 。H ist算法使得上色后图片颜色分布均匀平 5