多媒体技术及应用第三章图像信息的获取与处理.ppt

第三章 图像信息的获取与处理,主要内容,理论篇数字图像基础色度学基础 数字图像处理图像压缩标准JPEG实践篇典型图像处理工具简介 图像的获取图像的基本处理,理论篇数字图像基础,图像（image），又被称为“位图”，是直接量化的原始信号形式。是由像素点组成的。,1.数字图像和图形,理论篇数字图像基础,图形（graphic），又称为矢量图，是由计算机运算而形成的抽象化结果。是具有方向和长度的矢量线段组成。其基本的组成单元是描点和路径。,1.数字图像和图形,理论篇数字图像基础,图像的采样是指将图像转变成为像素集合的一种操作。在采样过程中，采样孔径和采样方式决定了采样得到的图像信号。不同采样方式所获取的图像信号是不同的。,2.图像的采样和量化,图像的采样,理论篇数字图像基础,理论篇数字图像基础,量化就是对采样后的连续灰度值进行数字化的过程，以还原真实的图像 图像的量化分为两类：等间隔量化即将采样值的灰度范围进行等间隔分于像素灰度值在黑-白范围内均匀分布的图像，其量化误差可变得最小化。非等间隔量化即将小的灰度值的级别间隔细分，而将大的灰度值的级别间隔粗分的方法,2.图像的采样和量化,图像的量化,图像文件的组成,识别信息图像数据压缩技术（可选项）,3.图像的存储格式,理论篇数字图像基础,识别信息,图像宽度图像高度图像分辨率,理论篇数字图像基础,识别信息,主要包括文件识别和图像识别两个部分识别信息被设计成一定的数据结构，放置在文件的首部，作为文件头出现其中文件识别信息通常包含图像文件的识别码以及版本号：如，PCX图像文件的识别码为0 x0A,理论篇数字图像基础,图像数据,流式存储是否压缩对非压缩图像数据：扫描、存储方式问题（如BMP格式，自下而上，自左而右）,理论篇数字图像基础,压缩技术,压缩技术并不是必须的采用压缩技术的目的是为了节省图像的存储空间（如不压缩，一幅A4 幅面的真彩色图像就需要6M字节的存储空间）压缩=编码解压缩=解码编码和解码均需要时间开支,理论篇数字图像基础,在图像文件中,识别信息和图像数据是必不可少的基本组成部分压缩方式则是作为一个选项出现，用户可以根据实际需要决定是否采用压缩方式以及采用何种压缩算法,理论篇数字图像基础,理论篇数字图像基础,图像文件一般格式,3.图像的存储格式,文件头软件信息和图像参数,文件尾用户信息（可选）,文件体图像数据和彩色变换表,理论篇数字图像基础,常用的静态图像文件格式（1）JPEG格式（2）BMP格式（3）GIF格式（4）PNG格式（5）TIFF格式（6）TGA格式（7）PSD格式,3.图像的存储格式,理论篇数字图像基础,（1）图像的分辨率（Image Resolution）确立组成一幅图像的像素数目，用每英寸多少点（DPI）表示，指组成一幅图像像素密度的度量方法。对同样大小的一幅原图，如果数字化时图像分辨率高，则组成该图的像素点数目越多，看起来就越逼真。图像分辨率在图像输入和输出时起作用，它决定图像的像素点阵数。,4.图像的重要参数,理论篇数字图像基础,（2）显示分辨率（Display Resolution）确定屏幕上显示图像区域的大小，即构成全屏显示的像素点个数，以每行拥有的像素点数屏幕显示行数来表示。显示分辨率有最大显示分辨率和当前显示分辨率之分：最大显示分辨率由物理参数，即显示器和显示卡（显示缓存）决定，当前显示分辨率由当前设置的参数决定。,4.图像的重要参数,理论篇数字图像基础,A,B,C,理论篇数字图像基础,理论篇数字图像基础,（3）图像深度（Image Depth）描述图像每个像素数据所占的二进制位数它决定了彩色图像中可出现的最多颜色数，或灰度图像中最大灰度等级数。,4.图像的重要参数,理论篇数字图像基础,图像深度与色彩的关系,理论篇数字图像基础,（4）颜色类型图像颜色需要使用三维空间表示，而颜色空间表示法不惟一，所以每个像素点的图像深度分配与图像所使用的颜色空间有关。以RGB颜色空间为例，图像深度与颜色的映射关系主要包括真彩色、伪彩色和调配色,4.图像的重要参数,真彩色,例:,伪彩色,注:,真彩色显示不需调色板，色彩无偏差,调色板与原图匹配，色彩偏差小,调色板与原图不匹配，色彩出现偏差,调配色,理论篇数字图像基础,（5）显示深度（Display Depth）表示显示缓存中记录屏幕上一个点的位数，即显示器可显示颜色数。显示一幅图像时，屏幕呈现颜色效果与图像深度有关也与显示深度有关。,4.图像的重要参数,显示深度大于图像深度,显示深度小于图像深度,显示深度等于图像深度,理论篇数字图像基础,理论篇数字图像基础,（6）图像容量 指图像文件的数据量，其计量单位是字节（Byte）。影响因素：色彩的数量、画面的大小、图像的格式等 计算公式：图像数据量大小=垂直像素总数水平像素总数色彩深度8,4.图像的重要参数,图像的分辨率,理论篇数字图像基础,（1）矢量图和位图矢量图是用一系列计算机指令来表示一幅图，如画点、画线、画曲线、画圆、画矩形等。这种方法实际上是用数学方法来描述一幅图。矢量图的优点是：（1）缩放、旋转、移动时图像不会失真。（2）存储和传输时数据量较小。矢量图的缺点是：（1）图像显示时花费时间比较长。（2）真实世界的彩色图像难以转化为矢量图。,5.图像种类,理论篇数字图像基础,（1）矢量图和位图点位图是将一副图像在空间上离散化，即将图像分成许许多多的像素，每个像素用若干个二进制位来指定该像素的颜色或灰度值。点位图的优点是：（1）显示速度快。（2）真实世界的图像可以通过扫描仪、数码相机、摄像机等设备方便的转化为点位图。点位图的缺点是：（1）存储和传输时数据量比较大。（2）缩放、旋转时算法复杂且容易失真。,5.图像种类,图像的分类,矢量图,点位图,理论篇数字图像基础,理论篇数字图像基础,（2）灰度图和彩色图灰度图按照灰度等级的数目来划分。只有黑白两中颜色的图像称为单色图像,5.图像种类,标准单色图 标准灰度图,理论篇数字图像基础,（2）灰度图和彩色图彩色图可按照颜色的数目来划分。例如256色图像和真彩色(22416 777 216种颜色)等。,5.图像种类,彩色图,256色标准图像 24位标准图像,理论篇数字图像基础,256色标准图像转换成的灰度图 24位标准图像转换成的灰度图,理论篇数字图像基础,1.颜色的来源,物体由于内部物质的不同，受光线照射后，产生光的分解现象。一部分光线被吸收，其余的被反射或投射出来，成为我们所见的物体的色彩 色彩和光有密切关系，同时还与被光照射的物体有关，并与观察者有关色彩是通过光被我们所感知的，而光实际上是一种按波长辐射的电磁能。,理论篇色度学基础,理论篇色度学基础,1.颜色的来源,可见波谱,电磁波谱,理论篇色度学基础,亮度明亮度是光作用于人眼时引起的明亮程度的感觉。一般来说，彩色光能量大则显得亮，反之则暗。,2.色彩三要素,理论篇色度学基础,色调是颜色最基本的特征。是指颜色之间主要的区别，比如绿、红、蓝、黄、青就属于不同的色调。色调是由光的光谱成分决定，不同波长的色光给人不同的色彩感觉。人眼能辨别的色调有180多种。,2.色彩三要素,理论篇色度学基础,饱和度饱和度是指彩色光所呈现颜色的深浅或纯洁程度。高饱和度的彩色光可因掺入白光而降低纯度或变浅，变成低饱和度的色光。100%饱和度的色光就代表完全没有混入白光的纯色光。,2.色彩三要素,对于同一色调的彩色光，饱和度越深，颜色越鲜明或说越纯，相反则越淡,同一色调越亮或越暗，饱和度越不纯,理论篇色度学基础,2.色彩三要素,理论篇色度学基础,只要选取三种不同颜色的单色光按一定比例混合就可以得到自然界中绝大多数彩色，具有这种特性的三个单色光叫基色光，对应的三种颜色称三基色。,3.三基色原理,3.三基色原理,（1）三基色必须是相互独立的。（2）自然界中的大多数颜色，都可以用三基色按一定比例混合得到。（3）三个基色的混合比例，决定了混合色的色调和饱和度。（4）混合色的亮度等于构成该混合色的各个基色的亮度之和。三基色原理是彩色图像的摄取、传输和重现的重要理论依据。,理论篇色度学基础,说明：,（1）原则上三基色的选择不是唯一的。选择红、绿、蓝作为三基色，主要原因是人眼对这三种颜色的光较敏感；自然界中所能观察到的各种彩色几乎都能由它们相混配出。（2）彩色光可用不同比例混合的三基色光束等效表示，与用亮度、色度描述彩色光是同一事物的两种不同表示形式。,理论篇色度学基础,理论篇色度学基础,把三基色按照不同的比例混合获得彩色的方法称为混色法。混色法有相加混色和相减混色之分。,4.相加与相减混色,理论篇色度学基础,（1）相加混色红光+绿光黄光 红光+蓝光紫（品）光绿光+蓝光青光 红光+绿光+蓝光白光上式中各关系式均是按各基色光等量相加的结果；若改变它们之间的混合比例，经相加混色便可获得各种颜色的彩色光。,4.相加与相减混色,相加混色圆图,理论篇色度学基础,空间混色法,利用人眼空间细节分辨力差的特点。将三原色光分别投射到同一表面上相邻的三个点上，只要这些点相距足够小且充分近，则人眼在离开一定距离处观看，由于人眼的分辨率有一定限度，将产生3种原色光相混合的彩色感觉。这就是视频色彩的空间混色法。,理论篇色度学基础,时间混色法,利用人眼的视觉惰性。将三原色光按一定顺序轮流投射到同一表面上，只要轮换速度足够快，由于视觉残留，人眼产生的彩色感觉与用三原色光直接混合时相同。这就是视频色彩的时间混色法。,理论篇色度学基础,生理混色法,人的两眼同时分别观看不同颜色的同一彩色景象时，使之同时获得两种彩色影像，这两种彩色影像在人的大脑中将产生相加混色的效果。,理论篇色度学基础,理论篇色度学基础,（2）相减混色,4.相加与相减混色,白色-红色=青色白色-绿色=品红白色-蓝色=黄色,以上的都是相减混色,相减混色就是以吸收三基色比例不同而形成不同的颜色的。所以有把青色、品红、黄色称为颜料三基色。,理论篇色度学基础,RGB颜色空间,5.颜色空间,定义：采用 R、G、B 相加混色原理，通过发射出三种不同的强度电子 束，使屏幕内侧覆盖的红、绿、蓝磷光材料发光产生色彩。这 种颜色表示法称 RGB 颜色空间表示。,原理：根据三基色原理，用基色光单位来表示光的量，则在 RGB 颜色 空间，任意颜色光 C 都可用 R、G、B 三色不同分量相加混合而 成：Cr R+g G+b B,RGB颜色模型,理论篇色度学基础,RGB颜色模型,RGB色彩空间采用物理三基色表示，因而物理意义很清楚，适合彩色显象管工作。,然而这一体制并不适应人的视觉特点。因而，产生了其它不同的色彩空间表示法。,理论篇色度学基础,理论篇色度学基础,XYZ颜色空间CIE国际照明委员会于1931年定义了理想中的三基色及其匹配函数，这三基色称作CIE基色，由其表示的颜色模型称作XYZ模型。如果用X、Y、Z表示这一色彩空间的基向量，则任意一种颜色C可以表示为：C=aX+bY+cZ,5.颜色空间,理论篇色度学基础,XYZ颜色空间,5.颜色空间,换算：x=0.490R+0.310G+0.200B y=0.177R+0.812G+0.011B z=0.000R+0.010G+0.990B,理论篇色度学基础,HSB颜色空间HSB色彩空间是从人的视觉系统出发，用色调、色饱和度和亮度来描述色彩。,5.颜色空间,HSB颜色模型,理论篇色度学基础,HSB颜色模型,理论篇色度学基础,HSB颜色模型,HSB色彩空间和RGB色彩空间只是同一物理量的不同表示法，因而它们之间存在着转换关系，如公式所示：,其中,理论篇色度学基础,HSB颜色模型,人的视觉系统经常采用HSB色彩空间，它比RGB色彩空间更符合人的视觉特性。,在图像处理和计算机视觉中大量算法都可在HSB色彩空间中方便地使用，它们可以分开处理而且是相互独立的。因此，在HSB色彩空间可以大大简化图像分析和处理的工作量。,理论篇色度学基础,理论篇色度学基础,YUV颜色空间彩色电视信号传输时，将R,G,B改成亮度信号和色度信号。PAL制式将RGB三色信号改组成Y、U、V信号，其中Y信号表示亮度，U、V信号是色差信号,5.颜色空间,YUV模型,YUV色彩空间与RGB色彩空间的转换关系如下：,如果要由YUV空间转化成RGB空间，只要进行相反的逆运算即可。,理论篇色度学基础,理论篇色度学基础,LAB颜色空间图像颜色由亮度或光亮度分量L和a，b两个色度分量组成；Lab颜色与设备无关，无论使用何种设备（如显示器、打印机、计算机或扫描仪）创建或输出图像，这种模型都能生成一致的颜色;,5.颜色空间,Lab模型,理论篇色度学基础,理论篇色度学基础,CMY颜色空间在理论上说，任何一种颜色都可以用青色（Cyan）、品红（Magenta）和黄色（Yellow）三种基本颜料按一定比例混合得到，通常写成CMY，称为CMY模型,5.颜色空间,CMYK颜色模型,彩色打印机、印刷彩色图片实际应用中，一幅图像在计算机中用RGB 模型显示；用RGB或HSB模型编辑处理；打印输出时要转换成CMYK模型；,理论篇色度学基础,理论篇数字图像处理,图像处理运算类型图像预处理图像特征提取图像识别对比度展宽噪声平滑噪声锐化,数字图像处理,理论篇图像压缩标准,空间冗余时间冗余结构冗余知识冗余视觉冗余图像区域的相同性冗余纹理的统计冗余,1.图像数据冗余,空间冗余,静态图像存在的最主要的一种数据冗余。一幅图像记录了画面上可见景物的颜色。同一景物表面上各采样点的颜色之间往往存在着空间连贯性，但基于离散像素采样来表示物体颜色的方式通常没有利用景物表面颜色的这种空间连贯性，从而产生了空间冗余。,这是序列图像（电视图像和运动图像）中经常包含的一种冗余。在一个图像序列的两幅相邻图像中，后一幅图像与前一幅图像间有着较大的相关，这反映为时间冗余。,时间冗余,结构冗余,在有些图像的纹理区，图像的像素值存在着明显的分布模式。例如，方格状地板图案等。称此为结构冗余。已知分布模式，可以通过某一过程生成图像。,知识冗余,对有些图像的理解与某些基础知识有较大的相关性。例如，人脸图像有固定的结构：嘴上方有鼻子，鼻子上方有眼睛，鼻子位于正脸图像中线上等。这类规律性的结构可由先验知识和背景知识中得到，此类冗余即为知识冗余。,视觉冗余,人类视觉系统对图像场的敏感区是非均匀和非线性的。但是在记录原始图像数据时，通常假定视觉系统是线性的和均匀的，对视觉敏感和不敏感的部分同等对待，从而产生了比理想编码（即把视觉敏感和不敏感部分区分开来编码）更多的数据，这就是视觉冗余。,视觉系统对图像的亮度和色彩度的敏感性相差很大。随着亮度的增加，人眼视觉系统对量化误差的敏感度降低。人眼视觉系统把图像的边缘和非边缘区域 分开来处理。人眼视觉系统把视网膜上图像分解成若干个空间有向频率通道后再进一步处理。,图像区域相同性冗余,在图像中的两个或多个区域所对应的所有像素值相同或相近，从而产生的数据重复性存储，这就是图像区域的相似性冗余。,纹理统计冗余,有些图像的纹理尽管不严格服从某一分布规律，但在统计的意义上服从该规律。利用这种性质也可减少表示图像数据量，称为纹理的统计冗余。,理论篇图像压缩标准,JPEG是什麽？JPEG是联合图片专家组(Joint Photographic Experts Group）的缩写。该组织负责开发静态图像压缩标准，后来这个组织开发的算法称为JPEG算法。该算法成为一个通用的国际标准，称为JPEG标准静态图像压缩标准。,2.静态图像压缩标准JPEG,JPEG压缩编码,1.将输入的样本分为8X8的像素块，利用FDCT（forward discrete cosine transform前向离散余弦变换）变换去掉数据冗余。,理论篇图像压缩标准,JPEG压缩编码,离散余弦变换公式：正变换：逆变换：其中：C(u),C(v)=1/,当 u,v=0；C(u),C(v)=1,其他。,理论篇图像压缩标准,JPEG压缩编码,JPEG算法举例：1.原8X8像素块 2.变换后得到变换系数,理论篇图像压缩标准,JPEG压缩编码,离散余弦变换的物理过程：DCT是一种正交变换，它将信号从时间域变换到频率域。经变换后可以得到：a.在频率域中，大部分能量集中在少数几个低频系数上。b.代表不同空间频率分量的系数的相关性大为减弱。所以，仅利用几个能量较大的低频系数就可以将原图像很好恢复。其余的系数可以给予较大的失真，甚至为0，这是DCT能够进行图像压缩的本质所在。,理论篇图像压缩标准,JPEG压缩编码,2.对变换系数进行量化：使用亮度量化表或色度量化表,理论篇图像压缩标准,JPEG压缩编码,量化公式：FQ（u,v）=Integer 取整 RoundF(u,v)/Q(u,v)四舍五入,理论篇图像压缩标准,JPEG压缩编码,JPEG算法举例：变换后系数 量化(色度量化表）,理论篇图像压缩标准,JPEG压缩编码,量化后的系数:,理论篇图像压缩标准,JPEG压缩编码,量化的目的：减小非“0”系数的幅度以及增加“0”值系数的数目。量化后，左上角的哪个元素称为直流分量DC（能量最大）。其余的63个元素称为交流分量AC。,理论篇图像压缩标准,JPEG压缩编码,3.直流分量的元素进行差分编码：DCi-DCi-1=差(本8X8像素块的直流分量减去前8X8像素块的直流分量的差）由于相邻8X8像素块的DC变化不大，所以它的差很小。对它的差值进行编码。,理论篇图像压缩标准,JPEG压缩编码,4.交流分量的元素进行行程编码：按“Z”扫描的方式进行行程编码。,理论篇图像压缩标准,JPEG压缩编码,5.熵编码：熵编码的中间格式：对DC：第一字节符号1（尺寸）第二字节符号2（幅值）对AC：第一字节符号1（行程，尺寸）第二字节符号2（幅值）进行可变长的熵编码,理论篇图像压缩标准,JPEG压缩编码,6.形成数据流,打包生成JPEG文件。将各种标记代码和编码后的图像数据组成一帧一帧的JPEG数据流进行打包存储或传输。,理论篇图像压缩标准,