论文（设计）基于内容感知的图像非等比例缩放.doc

基于内容感知的图像非等比例缩放赵朝杰 朱虹 黎璐 董敏 袁承兴（西安理工大学自动化与信息工程学院，西安，710048，zhaochaojie1987） 摘 要：数字图像在进行行列非等比例缩放时，按照常用的仿模拟图像的缩放方法，会导致缩放后景物结构因为纵向和横向的大小改变不一致而产生畸变。为此，本文采用对图像进行能量描述的方法，使图像中不同内容的景物具有不同的能量。特别地，对所圈定的敏感区域，进行能量提升处理。这样，在缩放过程中，寻找表示非重要内容的低能量线，对这些低能量线进行删除或插入操作，就可以维持重要内容不发生畸变。实验结果表明，本文所提出的方法在对行列进行非等比例缩放时，具有很好的抗畸变性能。关键词：图像缩放；内容感知；低能量线Non-proportional resizing of image based on Content-Aware ZHAO Chao-jie, ZHU Hong, LI Lu, DONG Min，YUAN Cheng-xing(The College of Automation and Information Engineering of Xian University of technology, Xian ,710048)Abstract: In the ranks of non-proportional scaling, the features of the digital image with commonly simulation-like image scaling method will lead to distortion in the size after scaling because of the inconsistencies of the changes in the size of vertical and horizontal structure. Therefore, this paper describes the energy of the image in order to endue the different elements of the image with different energy. In particular, the sensitive region of demarcation will be upgraded in energy. Thus, in the process of scaling these low-energy line of the Non-important content will be discovered and deleted or inserted in order to avoid the important part of the image from distortion. The experimental results show that the method presented in this paper has a good anti-distortion performance in the ranks of non-proportional scaling.Key words: image scaling ； content-aware ；low-energy line1 引言随着图像媒体信息应用的广泛性以及数字图像获取的便利性的提高，如今多样性的显示设备对数字媒体提出了更高的要求，很多场合下，需要对原始图像进行非等比例缩放。这样，就需要采用某种方法，使图像在缩放的过程中其内容不发生大的畸变。图像缩放最简单的方法1，就是等间隔重采样或者是等间隔的插值计算的方法。这类方法存在的一个问题是，如果按照长宽等比例缩放，则目标物不会发生畸变。但如果是按照长宽非等比例缩放时，就会发生畸变。针对这一问题，文献2提出了通过定义图像中描述景物内容的低能量线，不断删除或复制低能量线的方法来完成在非等比例缩放时最大限度地保持景物的原貌。然而，该方法对重要信息与非重要信息的描述是基于能量线来完成的，依照该文献的能量函数的定义，纹理越丰富的地方，被保留下来的可能性越大。当所需要保持的内容是纹理不十分丰富的时候，采用这种方法也会导致一定程度的目标畸变，为此，本文提出了能量检测线与敏感区能量提升相结合的方法，完成对图像内容的能量描述，尽可能地在图像非比例缩放时保持主要的景物不发生大的畸变。2图像内容的描述2.1 能量函数的定义考虑到图像中景物的边缘维持着景物中的各个目标的结构，如果能够被忽略的地方，一定是属于一个区域的比较平坦的部分，为此，本文采用Sobel算子得到的差分幅值的大小来定义每个像素点上的能量。设图像为，定义其每个像素点能量函数为： （1）其中， 根据以上的定义，就可获得该图像的能量矩阵为。2.2 低能量线的选取低能量线在这里是指图像中横向或纵向方向上的，在图像中起非主要作用，忽略后不会影响视觉效果的那部分像素连接在一起的线。对图像，其能量矩阵为，则纵向低能量线定义为：（2）其中， 。横向低能量线定义为：（3）其中， 。2.3 最优低能量线的选取从前面的低能量线的定义可知，如果图像的大小为，则可以找到条横向低能量线，条纵向低能量线。在图像缩放时，就需要选择出最佳的可删除或者是可复制的低能量线。为此，本文采用的方法是，将条横向低能量线和条纵向低能量线中，线上像素的累计总能量最小的低能量线作为最优低能量线。设（）为第条横向低能量线， （）为第条纵向低能量线，则最佳低能量线的计算公式如下。横向最佳低能量线为： （4）纵向最佳低能量线为： （5）如图1所示，按照公式（1）求原图（图(a)）的能量分布，将能量分布用伪彩色描述，可以得到如图(b)所示的能量分布。可以看到，高能量部分都集中在图像中的景物边缘处，所以对图1来说，虽然重要目标是人物的脸部信息，但能量大的部分主要集中在人物着装上，因为人物所穿衣服的纹理比较丰富。图(c)给出了按照公式（4）和公式（5）得到的最佳横向低能量线和最佳纵向低能量线。 如果将找到的这两条线删除，在视觉上影响不大。但是，如果需要删除的行数过多，对于这个例子，将会保留纹理丰富的衣服部分，而删除我们所不希望改变的脸部。为此，需要对可能破坏的不希望破坏的部分进行保护，以保证图像经过缩放后不会出现视觉敏感的畸变。为此，本文引入了敏感区域提升能量幅值的概念。图1 图像的能量描述示例(a) 原图(b) 图(a)的能量分布图(c) 图(a)的两条低能量线2.4 敏感区域的能量提升 所谓的敏感区域能量的提升是为了保护纹理不丰富，但的确属于图像中的重要内容的部分而提出的一种能量补充定义的方法。 由于敏感区域的确定取决于人对图像内容的特殊要求，自动选定的合理性低，为此，本文采用人机交互的方法来选定敏感区域。如图2(a)所示，画面中人物的脸部被选定为敏感区域。 设选定的敏感区域的像素集合为，其原有的能量分布为，敏感区能量提升方法如下。 首先，计算所选定区域的中心点。如果选定的矩形框在图像中的坐标位置为，则 ， （6）之后，对敏感区域中的某个点，能量提升后，新的能量值为： （7）其中， （8）为足够大的大于0的常数，以保证敏感区域中心点位置上的能量提升系数最大。比较图2(b)和图1(b)中的人物脸部的能量分布可以看出，经过能量提升之后，脸部区域具有较高的能量分部。比较图2(c)与图2(d)，如果未进行敏感区域能量提升，就会有一条低能量线穿过人物的脸部，而经过能量提升之后，低能量线就避开了脸部，这样，就可以避免对人物脸部的破坏。图2 图像的敏感区能量提升示例(a) 敏感区域的选定(b) 能量提升后的分布(c) 未加入能量提升时的低能量线(d) 加入能量提升时的低能量线 3图像的缩放 在获得图像的能量分布之后，按照上面的方法能够计算得到图像的低能量线，在图像的缩放中，依次将低能量线删除或复制，就可以达到图像的行列非等比例缩放的目的。3.1 非等比例的图像缩小图像缩小时，按照所需要缩小的比例，计算目标图像与原始图像的行数及列数差，然后从原图中分别删除相应行数及列数的低能量线，就可完成图像的缩小。图3是将原图的行缩小为原来的倍，列数保持不变的一个比较实验。图(b)是按照等间隔采样的方法得到的效果，可以看到景物被横向拉宽了。图(c)是采用文献1的方法，不进行人脸标定得到的效果。可以看到，因为衣服的纹理丰富，使得许多低能量线都落在了人脸区域部分，这样就导致了人脸的严重畸变。图(d)是采用本文对敏感区域进行能量提升的方法得到的结果，可以看到，图像在按照规定比例缩小的同时人物没有明显的畸变。图3 行列非等比例图像缩小效果示例(a) 原图(b) 等间隔采样缩小(d) 本文方法的效果(c) 文献1方法效果 3.2 非等比例的图像放大图像放大实际上是图像缩小的逆操作 ，因此在放大时，按照所需要放大的比例，计算目标图像与原始图像的行数及列数差，然后从原图中分别复制相应行数及列数的低能量线，就可完成图像的放大。图4是将原图的行放大为原来的倍，列数保持不变的一个实验。图(b)是计算得到的复制的低能量线在放大图中的分布。图(c)为最终的放大结果。由于这幅图中，后面部分为散焦拍摄部分，因此低能量线大多部分在后面，所以在结果图中，落在后面的那只奔跑的小狗有比较大的畸变，而前面的那只奔跑中的狗由于只插入了两行，所以基本保持了其体态没有明显的变化。图4 行列非等比例图像放大效果示例(a) 原图 (b) 复制的低能量线 (c) 放大的效果 3.3 图像目标放大在某些情况下，需要在不改变图像大小的前提下，对图像中的目标物进行放大。针对这一情况，本文采用的方法是，先采用双线性插值的方法，将原图按照所需要的比例放大；之后，对放大后的图像，再采用前面的方法进行行方向以及列方向的缩小，就可以得到与原图大小一致，但目标物放大的效果。图5就是一个按照规定的比例放大塑像之后的一个效果示例。(a) 原图 图5 图像目标放大效果示例 (b) 插值放大图像(c) 恢复图像的大小4 结论本文提出了一种基于图像内容感知的图像行列非等比例缩放的方法，通过低能量线的查找以及敏感区域能量提升的方法，对图像中的各个像素点按照其内容的不同进行能量化描述。之后，通过删除或者插入低能量线的方法，完成对图像的缩放。实验结果表明，本文方法在进行图像缩放时，能够很好地保持图像的重要信息内容，可有效地抵抗景物的畸变。参考文献1朱虹，等编著。数字图像处理基础。北京：科学出版社，2005 ISBN 7-03-014835-5.2Shai Avidan. Ariel Shamir Seam Carving for Content-Aware Image Resizing ,2007.3BOYKOV, Y., AND JOLLY, M.-P. 2001. Interactive graph cuts for optimal boundary & region segmentation of objects in n-d images. In International Conference on Computer Vision, (ICCV), vol. I, 105112.4苏金明，王永利编著。MATLAB图形图像。北京：电子工业出版社，2005.115Kenneth R Castleman 著.数字图像处理.朱志刚等译.北京：电子工业出版社，1998年6Rafale C Gonzalez,Richard E Woods 著.数字图像处理.阮秋琦，阮宇智等译.北京：电子工业出版社，2004年Editor's note: Judson Jones is a meteorologist, journalist and photographer. He has freelanced with CNN for four years, covering severe weather from tornadoes to typhoons. Follow him on Twitter: jnjonesjr (CNN) - I will always wonder what it was like to huddle around a shortwave radio and through the crackling static from space hear the faint beeps of the world's first satellite - Sputnik. I also missed watching Neil Armstrong step foot on the moon and the first space shuttle take off for the stars. Those events were way before my time.As a kid, I was fascinated with what goes on in the sky, and when NASA pulled the plug on the shuttle program I was heartbroken. Yet the privatized space race has renewed my childhood dreams to reach for the stars.As a meteorologist, I've still seen many important weather and space events, but right now, if you were sitting next to me, you'd hear my foot tapping rapidly under my desk. I'm anxious for the next one: a space capsule hanging from a crane in the New Mexico desert.It's like the set for a George Lucas movie floating to the edge of space.You and I will have the chance to watch a man take a leap into an unimaginable free fall from the edge of space - live.The (lack of) air up there Watch man jump from 96,000 feet Tuesday, I sat at work glued to the live stream of the Red Bull Stratos Mission. I watched the balloons positioned at different altitudes in the sky to test the winds, knowing that if they would just line up in a vertical straight line "we" would be go for launch.I feel this mission was created for me because I am also a journalist and a photographer, but above all I live for taking a leap of faith - the feeling of pushing the envelope into uncharted territory.The guy who is going to do this, Felix Baumgartner, must have that same feeling, at a level I will never reach. However, it did not stop me from feeling his pain when a gust of swirling wind kicked up and twisted the partially filled balloon that would take him to the upper end of our atmosphere. As soon as the 40-acre balloon, with skin no thicker than a dry cleaning bag, scraped the ground I knew it was over.How claustrophobia almost grounded supersonic skydiverWith each twist, you could see the wrinkles of disappointment on the face of the current record holder and "capcom" (capsule communications), Col. Joe Kittinger. He hung his head low in mission control as he told Baumgartner the disappointing news: Mission aborted.The supersonic descent could happen as early as Sunday.The weather plays an important role in this mission. Starting at the ground, conditions have to be very calm - winds less than 2 mph, with no precipitation or humidity and limited cloud cover. The balloon, with capsule attached, will move through the lower level of the atmosphere (the troposphere) where our day-to-day weather lives. It will climb higher than the tip of Mount Everest (5.5 miles/8.85 kilometers), drifting even higher than the cruising altitude of commercial airliners (5.6 miles/9.17 kilometers) and into the stratosphere. As he crosses the boundary layer (called the tropopause), he can expect a lot of turbulence.The balloon will slowly drift to the edge of space at 120,000 feet (22.7 miles/36.53 kilometers). Here, "Fearless Felix" will unclip. He will roll back the door.Then, I would assume, he will slowly step out onto something resembling an Olympic diving platform.Below, the Earth becomes the concrete bottom of a swimming pool that he wants to land on, but not too hard. Still, he'll be traveling fast, so despite the distance, it will not be like diving into the deep end of a pool. It will be like he is diving into the shallow end.Skydiver preps for the big jumpWhen he jumps, he is expected to reach the speed of sound - 690 mph (1,110 kph) - in less than 40 seconds. Like hitting the top of the water, he will begin to slow as he approaches the more dense air closer to Earth. But this will not be enough to stop him completely.If he goes too fast or spins out of control, he has a stabilization parachute that can be deployed to slow him down. His team hopes it's not needed. Instead, he plans to deploy his 270-square-foot (25-square-meter) main chute at an altitude of around 5,000 feet (1,524 meters).In order to deploy this chute successfully, he will have to slow to 172 mph (277 kph). He will have a reserve parachute that will open automatically if he loses consciousness at mach speeds.Even if everything goes as planned, it won't. Baumgartner still will free fall at a speed that would cause you and me to pass out, and no parachute is guaranteed to work higher than 25,000 feet (7,620 meters).It might not be the moon, but Kittinger free fell from 102,800 feet in 1960 - at the dawn of an infamous space race that captured the hearts of many. Baumgartner will attempt to break that record, a feat that boggles the mind. This is one of those monumental moments I will always remember, because there is no way I'd miss this.