图像处理概述.ppt

高级数字图像处理,陈志华,联系方式,媒体计算与仿真研究室 八教403 欢迎多交流，多联系！,同学自我介绍 研究方向、导师、课题等，有图像处理基础？关于纪律不迟到、不早退、不旷课有特殊情况，提前请假遵守课堂纪律 课代表推荐 协助考勤、讲座报名等,课程目的与要求,掌握数字图像处理的概念、原理和方法为图像相关领域的学习或研究打下良好基础说明 属于媒体计算领域 和相关课程视觉计算、多媒体信息建模与检索互补,课程安排,课程内容分为数字图像处理的理论及实践概念繁多、内容广泛、理论性和实践性很强内容简化，选自多本教材；课时：32学时讨论、小讲座等互动环节课堂提问、练习课外自己动手编程,课程考核,考核平时成绩 40%考勤、课堂练习、回答问题课堂小讲座、讨论考试（或论文）成绩 60%,讲座安排,围绕图像处理领域，做10分钟-20分钟PPT 技术点、知识点介绍 应用 研究现状 程序实现与演示 论文阅读 鼓励介绍自己的学术研究成果每位同学都要讲，按团队准备和评分课代表收集大家选题,小讲座评分,选题恰当：不宽泛，和课程内容不重复 PPT简洁：提纲式，字号至少为28，不超过50字/页，不照抄网上内容内容熟悉，陈述流畅：不要照稿子念，和大家有互动：眼神、手势、提问等有亮点：如编程实现、图文并茂、视频演示,数字图像处理概述及基础,参考书,数字图像处理(第二版)，冈萨雷斯等著，电子工业出版社,2013章毓晋，图象工程上册图象处理，清华大学出版社,2008章毓晋，图象工程中册图象分析，清华大学出版社,2008章毓晋，图象工程下册图象理解，清华大学出版社,2008,国内外相关学术会议和期刊,国内期刊Journal of Computer Science and Technology(JCST)(SCI)计算机学报软件学报电子学报计算机研究与发展中国图像图形学报,国外学术会议IEEE International Conference on Computer Vision(ICCV)IEEE International Conference on Computer Vision and Pattern Recognition(CVPR)ACM Multimedia Conference(MM)IEEE International Conference on Image Processing(ICIP)International Conference on Pattern Recognition(ICPR),国外期刊IEEE Transactions on Pattern Analysis and Machine Intelligence(PAMI)IEEE Transactions on Image Processing(TIP)International Journal of Computer Vision(IJCV)Pattern Recognition(PR)IEEE Transactions on Circuits and Systems for Video Technology(CSVT),图像处理的主要内容,基础知识图像几何变换彩色图像处理边缘检测图像增强图像分割形态学处理图像压缩应用实践,基础知识,1 概述概念：图像、数字图像、像素数字图像处理的起源数字图像处理的应用领域图像处理系统的基本组成结构2 技术基础图像的采样和量化数字图像的表示数字图像的质量像素间的一些基本关系,1.1 图像基本概念,图像定义为二维函数f(x,y)，其中，x,y是空间坐标，f(x,y)是点(x,y)的幅值灰度图像是一个二维灰度（或亮度）函数f(x,y)彩色图像由三个（如RGB，HSV）二维灰度（或亮度）函数f(x,y)组成,什么是数字图像？,像素组成的二维排列，可以用矩阵表示单色（灰度）图像:每个像素的亮度用一个数值来表示，通常在0-255，0表示黑、255表示白，其它值表示黑白之间的灰度彩色图像可以用红、绿、蓝三元组的二维矩阵来表示。通常三元组的每个数值也是在0到255之间，0表示相应的基色在该像素中没有，而255则代表相应的基色在该像素中取得最大值,数字图像的像素表示,什么是像素？数字图像由二维的元素组成。每一个元素具有一个特定的位置（x,y）和幅值f(x,y),这些元素就称为像素。,19,补充：图像,图像Image，是对事物的一种描述形式，它以人类视觉特性为载体在空间位置记录颜色值，一个空间位置记录一个颜色值，那么空间位置及对应颜色值的集合就是图像再具体点，是指在一个二维矩形区域内的每个点记录一个颜色,20,图像获取,通过记录现实世界，获取图像 手机 照相机 摄像机 红外摄像机,21,图像,22,图像的简单分类,按照人眼视觉感知范围分可见图像不可见图像按照图像空间坐标和亮度（或色彩）的连续性分类模拟图像：空间坐标和颜色值均连续取值数字图像：空间坐标和颜色值均不连续取值,23,可见光与电磁波谱,X射线,紫外线,射线,红外线,微波,无线电波,蓝,绿,红,400,600,500,700 波长（nm）,人类可见波长范围,24,可见光与电磁波谱,25,模拟图像,图像的空间坐标和颜色值均连续取值例如：由胶片照相机拍摄的照片理论上，照片上的任意一点都有对应的颜色，因此坐标位置是在0宽度0高度的二维范围中取值同样，由胶片相机拍摄的照片，其每个点的感光值也都是连续取值的，并且取值范围（也称为动态范围）非常大,26,数字图像,图像的空间坐标和颜色值均不连续取值例如，数码相机所拍摄的数字图像空间坐标取值不连续一般在网格点位置上才记录颜色颜色取值不连续每个网格点上的颜色取值 只有有限种选择,1.2 数字图像处理的起源,人类分析的需要图像在传输过程后的更好复原空间应用：图像增强、图像复原医学图像作用：通过图像增强、图像复原等技术，增强或复原模糊或损毁的图像机器感知的需要自动字符识别OCR人脸识别指纹识别,28,数字图像历史追溯,数字图像处理最早的应用之一是在报纸业1921年，Bartlane电缆图片传输系统，在伦敦和纽约之间，经横跨大西洋的海底电缆发送数字化报纸的图片。该系统传送一幅图片所需时间小于3小时，而之前需要1周以上。首先对图像进行编码；然后在接收端由专用打印设备进行图片重建,29,1921年一幅由电报打印机打印的数字图像(5个灰度级),30,1921年底照像复制技术应用，在电报接受终端用穿孔带还原图像图像信号两次穿越大西洋后的效果。,31,1929年引人了编码的图片纸带来调制光束，从而改善底板感光的系统，使灰度级增加到15个等级。,1.3 数字图像处理的主要研究内容,图像增强图像分割图像复原图像变换图像压缩图像重建图像配准、图像融合、图像水印、数学形态学,1.4 图像处理的应用领域,数字图象处理技术已应用到很多领域,(1)遥感图像应用 农业普查、森林覆盖计算、水利工程等的客观估计计算、森林火灾监护客观反映火灾情况、面积,水体界线的确定 在近红外图像上，水体呈黑色；,(2)导弹制导 图象识别技术应用于导弹的精确制导，使其精确打击目标。如：机场、桥梁等。,(3)生物特征识别 军事、公安中的人脸、指纹、掌纹识别等。,(4)医学应用 CT、MR1、PET、B超、DSA、血管造影、红外乳腺、显微病理、电子显微镜、远程医疗图像、皮肤图象、X射线、刀与刀脑外科等等离不开图像。,X-Ray,MRI,PET（核医学影像）,超声图象,Photo courtesy Philips Research,DSA数字减影血管造影(Digital Subtraction Angiography),红外图象,(5)日常生活 数码照片管理、处理等。,1.4 图像处理系统的基本组成结构,常用图像处理软件及平台,Windows自带软件-画图可以画任意图形、填充颜色等，同时也可编辑图像,ACDSee目前流行的数字图像处理软件，支持超过50种常见多媒体格式，拥有如去除红眼、剪切图像、锐化、浮雕特效、旋转、镜像等功能效果。,Adobe Photoshop公认的最好的通用平面美术设计软件。由Adobe公司开发设计。它完成了DTP和图像软件的结合，使设计师可在电脑上直接完成文字的录入、排版、图像处理、形象创造和分色制板的全过程。,Fireworks网页制作三剑客之一，最适合与Dreamweaver共同使用，处理网页中的图片。,MATLAB是美国MathWorks公司出品的商业数学软件，用于算法开发、数据可视化、数据分析以及数值计算的高级技术计算语言和交互式环境。,Visual C+.net实现许多图像之间的变换，或者自己编写函数来画出设计好的图像。,图像存储系统,图像文件格式体系互联网用：GIF、JPG印刷用：TIF、JPG、TAG、PCX国际标准：TIF、JPG、BMP图像存储体系：分级存储内存存储：处理时使用硬盘存储：处理、备份时用（在线）备份存储：光盘、磁带,图像文件的常用格式,BMP位图文件，是一种与硬件设备无关的图像文件格式，是Windows操作系统采用的图像文件存储格式，是Windows操作系统内交换图像数据的一种标准。GIF原义是“图像互换格式”，是CompuServe公司制定的一种图像文件存储格式，其最初的目的是希望每个BBS使用者都能够通过GIF图像文件格式轻易存储并交换图像数据。,图像文件的常用格式,TIFF图像文件格式由Aldus公司与Microsoft公司共同开发设计的图像文件格式。PCX图像文件格式是PC Paintbrush绘图软件内的文件格式，专门用于存储该软件所产生的图像画面数据。JPEG图像文件格式一种有损压缩格式，是最常用的图像文件格式，由国际标准化组织和国际电话电报咨询委员会制定。,2 技术基础,图像的采样和量化数字图像的表示数字图像的质量像素间的一些基本关系邻域处理方法是图像增强过程的核心。,2.1 图像的采样和量化,大多数传感器的输出是连续电压波形，为了产生一幅数字图像，需要把连续的感知数据转化为数字形式数字化包括两种处理：采样和量化采样：图像空间坐标的数字化量化：图像函数值（灰度值）的数字化,图像采样,空间坐标(x,y)的数字化被称为图像采样确定水平和垂直方向上的像素个数N、M,图像的量化,函数取值的数字化被称为图像的量化，如量化到256个灰度级,图像的采样与数字图像的质量,图像的采样与数字图像的质量,1024*1024,512*512,256*256,32*32,128*128,64*64,图像的量化与数字图像的质量,图像的采样和量化,非统一的图像采样在灰度级变化尖锐的区域，用细腻的采样，在灰度级比较平滑的区域，用粗糙的采样,非统一的图像量化在边界附近使用较少的灰度级。剩余的灰度级可用于灰度级变化比较平滑的区域避免或减少由于量化的太粗糙，在灰度级变化比较平滑的区域出现假轮廓的现象,2.2 数字图像的表示,二维离散亮度函数f(x,y)x，y说明图像像素的空间坐标函数值f 代表了在点(x,y)处像素的灰度值二维矩阵Am,nm,n说明图像的宽和高。矩阵元素a(i，j)的值，表示图像在第i行，第j 列的像素的灰度值；i,j表示几何位置,256个层次的图像,16个层次的图像,64个层次的图像,2.3 图像的质量,图像质量指标1、层次（灰度级）,对比度：是指一幅图像中灰度反差的大小,对比度=最大亮度/最小亮度,图像质量：2、对比度,图像的质量：3、清晰度,人眼宏观看到的图像的清晰程度与清晰度相关的主要因素 亮度对比度尺寸大小细微层次颜色饱和度,降低亮度,影响清晰度因素1、亮度,原图,降低对比度,原图,影响清晰度因素2、对比度,缩小尺寸,原图,影响清晰度因素3、尺寸大小,减少细微层次,原图,影响清晰度因素4、细微层次,降低颜色饱和度,原图,影响清晰度因素5、颜色饱和度,2.4 像素间的一些基本关系,相邻像素：4邻域8邻域连通性4连通8连通距离,相邻像素4邻域,4邻域：像素p(x,y)的4个相邻的像素(x+1,y)；(x-1,y)；(x,y+1)；(x,y-1)用N4(p)表示像素p的4邻域,相邻像素8邻域,8邻域定义：像素p(x,y)的8邻域是：,像素间的连通性,连通性是描述区域和边界的重要概念两个像素连通的两个必要条件是：两个像素的位置是否相邻两个像素的灰度值是否满足特定的相似性准则（或者是否相等）4连通、8连通的定义,像素的连通性4连通,对于具有值V的像素p和q，如果q在集合N4(p)中，则称这两个像素是4连通的,像素的连通性8连通,对于具有值V的像素p和q，如果q在集合N8(p)中，则称这两个像素是8连通的,像素的连通性距离,像素之间距离的定义欧氏距离定义D4距离（城市距离）定义D8距离（棋盘距离）定义,像素之间距离的定义,对于像素p、q和z，分别具有坐标(x,y)，(s,t)和(u,v)，如果(1)D(p,q)0(D(p,q)=0，当且仅当p=q),(2)D(p,q)=D(q,p)(3)D(p,z)D(p,q)+D(q,z)则称D是距离函数或度量,欧式距离定义,像素p(x,y)和q(s,t)间的欧式距离定义如下：问题：具有与(x,y)距离小于等于某个值r的像素是？,D4距离（城市距离）,像素p(x,y)和q(s,t)之间的D4距离定义为：问题：试写出以像素A为中心、3*3邻域内的D4距离值？5*5邻域呢？,D4距离举例,具有与(x,y)距离小于 等于某个值r的那些像 素形成一个菱形 例如，与点(x,y)（中 心点）D4距离小于等 于2的像素，形成右边 固定距离的轮廓具有D4=1的像素是(x,y)的4邻域,D8距离（棋盘距离）,像素p(x,y)和q(s,t)之间的D8距离定义为：问题：写出以像素A为中心、3*3邻域内的D8距离值？5*5邻域？,D8距离举例,具有与(x,y)距离小于 等于某个值r的那些像 素形成一个正方形 例如，与点(x,y)（中 心点）D8距离小于等 于2的像素，形成右边 固定距离的轮廓 具有D8=1的像素是(x,y)的8邻域,87,3 数字图像处理及其研究内容,图像处理：对图像进行一系列的操作，以达到特定的应用目标模拟图像处理利用光学、照相等方法对模拟图像的处理数字图像处理利用计算机算法对数字图像进行系列操作，以达到特定的应用目标,88,3.1 来源,数字图像处理起源于两种主要应用范围：(1)改善人类做判断用的图像信息(2)处理自动装置感受的景物数据,89,低层数字图像处理：对输入图像进行变换，得到一幅输出图像如对输入图像进行各种操作以改善图像的视觉效果或者对其进行压缩编码以减少所需要的存储空间和传输时间等，降低对传输通道的要求,狭义的处理,90,数字图像的分析,对图像中感兴趣的区域或目标进行检测和测量，从而建立对图像目标的描述，是一个从输入图像到数值或者符号的过程,91,图像理解与模式识别,在图像分析的基础上，利用人工智能和认知理论，研究图像中各目标的性质和它们之间的相互联系，对图像内容的含义加以理解以及对原来客观场景加以解释，从而指导和规划行动,92,数字图像处理的特点,处理算法不依赖于精度对于一幅图像而言，数字化时不管是用4比特、8比特还是其它比特表示，只需改变计算机中程序的参数，处理方法不变。所以从原理上讲不管对多高精度的数字图像进行处理都是可能的。而在模拟图像处理中，要想使精度提高一个数量级，就必须对装置进行大幅度改进,93,数字图像处理的特点,处理结果能准确再现不管是什么数字图像，均用数组或数组集合表示。在传送和复制图像时，只在计算机内部进行处理，这样数据就不会丢失或遭破坏，保持了完好的再现性。而在模拟图像处理过程中，就会因为各种干扰因素而无法保证图像处理结果的准确再现,94,数字图像处理的特点,通用性、灵活性强对可见图像和不可见光图像（如X光图像、热红外图像和超声波图像等），尽管这些图像生成体系中的设备规模和精度各不相同，但当把这些图像数字化后，都可同样进行处理，这就是数字处理图像的通用性利用处理软件可对图像进行各种各样的处理，如上下滚动、漫游、拼接、合成、变换、放大、缩小和各种逻辑运算等，所以灵活性很高,95,3.2 图像处理的研究实例,主要研究内容图像增强图像恢复图像编码图像分析模式识别图像重建,96,图像增强(1),97,图像增强(2),98,图像增强(3),图像增强是改善供人观看图像主观质量主要技术：直方图修正图像平滑图像锐化同态系统伪彩色技术,99,图像恢复(1),100,图像复原(2),图像复原是寻找引起图像质量下降的原因，通过”逆向“操作，尽可能恢复图像本来面目主要技术：复原的代数方法逆滤波最小二乘方滤波约束去卷积空间复原技术,101,图像编码,在保真（无损）或限保真（有损）条件下对图像进行压缩主要技术方法：PCM编码统计编码预测编码变换编码小波编码分形编码,102,图像分析(1),人体染色体形状分析,103,图像分析(2),对输入图像的处理，产生已知图像描述主要技术方法：分割描绘纹理分析形状分析场景分析,104,模式识别,计算机代替人类完成识别景物工作，就必须赋于它有近于人的视觉功能与识别能力。对人的视觉机理至今研究得十分不够，完善的视觉模型尚未建立，因而，目前用图像处理和识别技术来识别景物相对是较简单的。相关匹配、结构匹配等是一些常用识别方法。各种知识基的专家系统应用于识别复杂的景物，并已做出一些实用的系统,105,图像重建(1),利用X射线、超声波等手段取得物休的多幅来自不同角度的二维投影图（它们反映了物体内部情形），通过计算得出物体内部图像，这种技术就是投影重建。利用明暗、运动、体视等图像信息恢复三维物体形状则是三维信息恢复重建技术。,106,图像重建(2),数字图像处理的实例补充,108,Image Processing Examples,Restoration of image from Hubble Space Telescope(图像复原),Source:IVPL NorthWestern University,Chicago,109,Image Processing Examples,Color photo enhancement(彩色照片增强),Source:Picture Project 1.5,2005 Nicon Corporation,Original,Automatic Enhancement,110,Image Processing Examples,Noise reduction(噪声去除),Degraded Image,Noise reduction image,Source:Jungwon Lee,Stanford EE 368 class project,Spring 2000,111,Image Processing Examples,Special Effects(特殊效果),Photo,Simulated color pencils,Simulated oil painting,Source:Feng Xiao,Stanford EE 368 class project,Spring 2000,112,Image Processing Examples,Pseudocolor enhancement for security screening(伪彩增强),Source:Gonzalez+Woods book,Fig 6.24,113,Image Processing Examples,Extraction of settlement area from an aerial image(居住区提取),Source:INRIA,Sophia-Antipoils,France,114,Image Processing Examples,Earthquake Analysis from Space(地震分析),Source:JPL,Pasadena,QUAKEFINDER project,Image shows the ground displacement due to Landers earthquake in CA,1992,115,Image Processing Examples,Face Detection(脸部识别),Source:Henry Chang,Ulises Robles,Stanford EE 368 class project,Spring 2000,116,Image Processing Examples,Another Face Detection Example,Source:Michael Bax,Chunlei Liu and Ping Li,Stanford EE 368 class project,Spring 2003,117,Image Processing Examples,Source:M.Borgmann,L.Meunier,Stanford EE 368 class project,Spring 2003,118,Image Processing Examples,Source:Yi-Wen Liu and Yu-Li Hsueh,Stanford EE 368 class project,Spring 2000,Face morphing(脸部变形),119,Image Processing Examples,Handwriting recognition,Source:Bernd Girod,Stanford EE 368 Course Notes,120,Image Processing Examples,Biometrics:Fingerprint recognition(指纹识别),Source:Bernd Girod,Stanford EE 368 Course Notes,121,Image Processing Examples,Biometric:Iris recognition(虹膜识别),Source:J.Daugman,U.Cambridge,扩 展,华理媒体计算领域研究成果介绍,问题讨论,图形和图像的异同？,图像与图形,区别图形是由计算机绘制而成的,图像则是人为的用外部设备所捕捉到的外部景象 存储方式：图形存储的是画图的函数；图像存储的则是像素的位置信息和颜色信息以及灰度信息缩放：图形在进行缩放时不会失真，可以适应不同的分辨率；图像放大时会失真，可以看到整个图像是由很多像素组合而成的处理方式：图形可旋转、扭曲、拉伸、缩放等等；图像可进行对比度增强、边缘检测等等,三门学科关系,