电子信息导论第二十章数字图像处理及应用.ppt

第十二章 图像信息处理 及应用,电子信息技术导论,编制 曹汉强,提纲一、图像信息处理基础知识二、数字图像处理的应用三、数字图像处理技术简介 小结,第十二章 图像信息处理及应用,一、图像信息处理 基础知识,图像和数字图像,1.图像,图像处理广泛应用在科学研究、机器人视觉、宇宙探测和国防科技等方面，成为了信息处理的一个重要的学科分支。,图像是人们获取信息的主要来源。人类主要通过眼睛观察外部世界，据统计，在人类获取的信息中，视觉信息约占70%。,左边是嫦娥一号卫星传回的第一幅月面图像。右边是第一幅月面图像的飞行效果图。,第一幅月面图像就是我们对月球的直观感受和初步认识。,一、图像信息处理 基础知识,绘图,照片,视频图像,电视电影,图像的多种形式,一、图像信息处理 基础知识,图像是客观景物（万事万物）呈现在人心目中的影象。,图像是物件或事物的一种表示、写真或临摹，是一个生动的或图形化的描述。,“图”是物体投射或反射光的分布；“像”是人的视觉系统对“图”在大脑中形成的印象或反映。,韦氏定义,抽象的定义,分离定义,图像是客观世界能量或状态以可视化形式在二维平面上的投影,图像的各种定义：,能量的定义,一、图像信息处理 基础知识,2.数字图像（Image）把连续空间的图像，在坐标空间和性质空间都进行离散化，便于计算机进行加工处理，这种离散化的图像就是数字图像。相对于数字图像，其它的图像都认为是模拟图像。数字图像是模拟图像在计算机中的表现形式，两者之间可以转换。例如：,模拟图像,数字图像,数字图像,模拟图像,扫描仪,打印机,一、图像信息处理 基础知识,数字图像与模拟图像相比，有以下几个方面的特点：灵活性方面。对模拟图像处理，只能进行简单的放大、缩小等，而数字图像的处理方式非常精确、灵活,可以进行变形、改变亮度、色度、添加滤镜等效果。传输性方面。模拟图像以实物为载体，传输相对困难，而数字图像以数字信息为载体，传输相对较快。再现性方面。模拟图像不易保存，时间长了会有所变化；而数字图像不会因为保存、传输或复制而产生图像质量上的变化。观看性方面。数字图像必须借助播放设备才能观看。有些模拟图像需要借助播放设备才能观看，如录像带、电影片等；有些不需要借助播放设备就能直接观看，如课本上的图像、照片等，能直接观看。,一、图像信息处理 基础知识,通用数字图像处理系统,“嫦娥一号”第一幅月面图像处理的过程如下：,（图像获取）,（图像传输）,1.卫星数字图像处理过程,一、图像信息处理 基础知识,2.数字图像处理系统,图像处理系统的构成示意图,一个通用的图像处理系统构成，主要分为采集、显示、存储、通信、处理和分析5个模块。,一、图像信息处理 基础知识,图像采集模块 常见的图像采集的设备如数码摄像机、数码相机、扫描仪、采集卡、摄像头、遥感仪、CT机等。,扫描仪,采集卡,摄像头,CT机,一、图像信息处理 基础知识,图像显示模块 常见的图像显示的设备有显示器（包括CRT和LCD）、打印机、绘图仪、显卡、胶片记录仪等。,打印机,显卡,绘图仪,一、图像信息处理 基础知识,图像存储模块 常见的图像存储的设备有磁盘、硬软盘、磁带、光盘等,还有现在用于数码相机和手机的存储卡，包括CF卡、SD卡、MMC卡、TF卡等。图像数据量庞大，除了大容量磁盘外，MO(磁光存储器)、CD、DVD等光学存储装置以及SAN、NAS等网络存储系统，为存储海量图像数据提供了极好的支持。,磁带,CF卡,NAS/SAN网络存储设备,一、图像信息处理 基础知识,图像通信模块：图像通信可分为近程的和远程的。近程图像通信是指在不同设备间交换图像数据，例如u盘与计算机之间交换。远程图像通信是指在长距离的图像系统间传输图像，主要是网络上传输，网络带宽问题是需要考虑的主要问题。,一、图像信息处理 基础知识,图像处理和分析模块 该模块一般可用算法的形式描述，而大多数的算法可用软件实现，只有在为了提高速度和克服通用计算机限制的情况下采用特制的硬件。图像处理和分析涉及到的技术包括各种图像变换、图像增强技术、图像恢复和重建技术、图像编码技术、图像分割技术、目标表达和描述技术等。,一、图像信息处理 基础知识,图像处理和分析模块包含内容,图像恢复和重建,图像增强,图像编码,图像分割,图像描述和表达,图像变换,将图像转换为变换域的处理。,主要研究如何突出图像中所感兴趣的部分。,针对图像退化原因建立模型，以滤波恢复或重建图像。,主要用于减少数据量，以便存储和传输。,提取图像中有意义的特征，例如边缘和区域。,是图像识别和理解的必要前提。,一、图像信息处理 基础知识,信息量大。如果要处理30帧/秒的电视图像序列，则每秒要求500kbit22.5Mbit数据量。因此对计算机的计算速度、存储容量等要求较高。占用的频带宽。如电视图像的带宽约5.6MHz，而语音带宽仅为4kHz左右。相关性大。就电视画面而言，同一行中相邻两个像素或相邻两行间的像素，其相关系数可达0.9以上，而相邻两帧之间的相关性比帧内相关性一般来说还要大些。受人的因素影响较大。影响因素有环境条件、视觉性能、人的情绪爱好以及知识状况等。,数字图像处理的基本特点,一、图像信息处理 基础知识,数字图像处理的发展历程,一、图像信息处理 基础知识,至今,计算机性价比的不断提高和通过万维网及互联网的网络通信带宽的扩展，为之创造了前所未有的机遇。,一、图像信息处理 基础知识,遥感和航空测量,遥感：主要用于资源、矿藏勘探、国土规划、高速公路选线、灾害调查、农作物估产、气象预报以及军事目标监视等。,气象卫星云图,土地变化监测图,云南省大理州森林火灾的遥感图,二、数字图像处理的应用,生物医学领域应用,三维快速血管造影成像,头部CT,主要应用如X射线层析摄影(CT)、核磁共振(MRI)、超声成像、血管造影、细胞和染色体自动分类等。这些技术和设备大大提高了治疗诊断水平，减轻了病人的痛苦。,二、数字图像处理的应用,以下是一个将图像处理应用于临床医学的例子CT脑血管医学图像三维重建。,重建的脑血管三维图像,加入对比剂脑血管扫描图像依次为第1层,第2层,第3层脑血管,脑血管边缘提取依次为第1层,第2层,第3层脑血管,二、数字图像处理的应用,图像通信,常见的数字图像和数字视频设备如可视电话、会议电视、卫星电视、数字电视、高清晰度电视、VCD、DVD等,会议电视终端,可视电话,卫星电视接收器,二、数字图像处理的应用,基于H.323标准的远程教学组网图,二、数字图像处理的应用,工业与交通应用,该领域的应用从70年代起取得了迅速的发展，主要有产品质量检测、生产过程的自动控制、CADCAM等。,检查瓶装液体容量是否合格,智能交通控制,二、数字图像处理的应用,汽车牌照识别系统图,二、数字图像处理的应用,交通视频监控系统图,二、数字图像处理的应用,军事公安,军事目标的侦察、制导和警戒系统、自动灭火器的控制及反伪装等等都需要用到图像处理技术；公安部门的现场照片、指纹、虹膜、面部、手迹、印章等的处理和辨识也要借助图像处理。,导弹制导,指纹门锁,二、数字图像处理的应用,虹膜识别系统框图,二、数字图像处理的应用,生物识别技术的重要分支自动指纹识别系统,下图是指纹图像预处理各阶段的结果：,指纹原始图像,滤波后图像,二值化图像,细化图像,二、数字图像处理的应用,机器视觉,机器视觉主要用于军事侦察、危险环境的自主机器人，邮政、医院和家庭服务的智能机器人，装配线工件识别、定位，太空机器人的自动操作等。,ASIMO踢球,ASIMO上楼梯,二、数字图像处理的应用,虚拟现实,当人们通过虚拟现实浏览、观赏时就如身临其境一般，并且可以选择任一角度，观看任一范围内的场景或选择观看物体的任一角度。虚拟漫游技术是虚拟现实（VR）技术的重要分支，在建筑、旅游、游戏、航空航天、医学等多种行业发展很快。,VR的相关设备,二、数字图像处理的应用,故宫VR紫禁城天子的宫殿中的一景,二、数字图像处理的应用,电脑游戏中的建筑场景漫游,二、数字图像处理的应用,三、数字图像处理技术简介,处理方法：空域方法和频域方法,处理策略：全局处理和局部处理,处理对象：灰度图像增强和彩色图像增强,图像处理涉及到的技术包括各种图像增强技术、图像恢复和重建技术、图像分割技术等。,图像增强分类方法,图像增强：,1,1.空域增强 空域增强就是指直接对图像的像素灰度值做某些运算，从而达到对某些像素的灰度值的改变，以改善图片视觉效果。,直接灰度变换增强 对图像中的每个像素按某种运算直接进行灰度变换,Couple原图像,三段式增强效果,对数变换增强效果,三、数字图像处理技术简介,直方图变换增强 直方图是对图像中每一个灰度值统计出现的次数或者频率后绘制出的图。对直方图变换可以实现图像增强。,原始图像及其直方图,直方图均衡后图像及其直方图,三、数字图像处理技术简介,航拍的城市夜景（红外成像）,直方图均衡后的效果,三、数字图像处理技术简介,2.空域滤波,图像平滑,中值滤波去噪效果,空域滤波就是设计一些运算模板，将模板和图像中对应的各像素点的灰度值做积分运算或微分运算，以达到图像平滑或锐化的目的。,三、数字图像处理技术简介,图像锐化,拉普拉斯算子图像锐化增强效果,三、数字图像处理技术简介,3.频域增强 频域增强是指通过在图像的频域或变换域进行处理后，使图像得到增强的方法。,指纹原图,频域增强后的指纹图像,三、数字图像处理技术简介,景物成像过程中凡出现畸变、模糊、失真或混入噪声，使得所成图像降质，称之为图像“退化”。这些质量降低的图像，我们通称为退化图像。,图像复原 1.什么是图像的退化和图像复原,图像复原通俗地讲，就是图像退化的逆过程。典型的图像复原方法是根据图像退化的先验知识建立一个退化模型，以此模型为基础，采用滤波等手段进行处理，使得复原后的图像符合一定的准则，达到改善图像质量的目的。,2,三、数字图像处理技术简介,通用的图像退化模型为：,式中，g(x,y)为退化图像，f(x,y)为求解的图像；H是综合所有退化因素的一个函数。n(x,y)为噪声函数。,图像复原就是已知g(x,y)，求f(x,y)的问题（近似过程）。求解逼近过程，由于解不唯一，故方法很多，不同误差准则，不同约束条件，得到的解会不同。实际的复原过程是设计一个滤波器，使其能从降质图像中计算得到真实图像的估计值。,三、数字图像处理技术简介,2.逆滤波复原方法 若F(u,v)和G(u,v)分别表示复原图像和退化图像的傅里叶变换；H(u,v)表示图像退化函数，它综合了所有造成图像退化的因素，可采用实测或点冲激函数测量方法得到。F(u,v)、G(u,v)和H(u,v)都用矩阵表示。设H(u,v)已知，忽略噪声的情况下，复原图像F(u,v)为,如果H(u,v)的逆存在，则等式右边,就是一个逆滤波过程。,三、数字图像处理技术简介,微装配准备对接模糊图像,逆滤波恢复的图像,三、数字图像处理技术简介,3.运动模糊图像的复原 当成像传感器与被摄景物之间存在足够快的相对运动时，所摄取的图像就会出现“运动模糊”。运动模糊图像的复原，最为关键的就是运动速度要估计得比较准。,为了简单起见，一般只考虑匀速直线运动模糊图像的复原。,运动模糊图像的复原,三、数字图像处理技术简介,4.图像灰度校正和几何畸变校正 图像几何畸变校正的思路是通过一些已知的参考点，即无失真图像某些像素点和畸变图像相应像素的坐标间对应关系，拟合出上述多项式中的系数，并作为恢复其它像素的基础。几何失真校正主要包括二个步骤：空间变换，恢复像素原空间的位置；灰度插值，对空间变换后像素赋予原位置的灰度值。,三、数字图像处理技术简介,空间变换,几何空间位置校正示意图：,将四边形区域的4个顶点作为控制点，根据4个已知点建立方程组，由待定系数法求出未知系数，由这些系数即可实现四边形内所有点的校正。灰度插值对空间变换后的像素赋予原位置的灰度值。例如双线性插值等。,三、数字图像处理技术简介,数码相机中由于光学镜头的生产工艺等原因，拍摄图像出现了较为严重的非线性几何畸变。,几何畸变图像,几何校正的结果,三、数字图像处理技术简介,图像重建 图像投影重建是一类特殊的图像复原技术，投影重建是指从一个物体的多个（轴向）投影图来重建目标图像的过程。输入是一系列图像，输出是一幅重建图。主要有两类重建图像的方法：（1）傅里叶反变换重建技术（2）级数展开重建技术 通常图像重建的数学模型较复杂，计算量大，涉及到投影模型、迭代计算等，在此不作详细介绍。,3,三、数字图像处理技术简介,图像分割1.图像分割的含义 图像分割是把图像分解成构成它的部件和对象的过程；达到有选择性地定位感兴趣对象在图像中的位置和范围。因此，图像分割是指把图像分成各具特性的区域，并提取出感兴趣目标的技术和过程。分割的特性可以是灰度、颜色、纹理等；目标可以是对应单个区域或者是多个区域。,4,图像分割的示意图,三、数字图像处理技术简介,2.图像分割的基本分类 图像分割算法基于图像灰度值的两个基本特性：不连续性和相似性；,因此，图像分割基本上分类为基于边界的分割方法和基于区域的分割方法。,两种颜色区域的图像分割示意图,三、数字图像处理技术简介,3.图像目标分割的方法（1）基于边界的分割方法 基于边界的图像分割方法有并行边界技术和串行边界技术两类，并行边界技术是边缘的检测和边界的闭合同时进行；而串行边界技术是边缘检测和边界的闭合连接是串行完成的。无论是采用并行边界技术还是串行边界技术，边缘检测都是基于边界技术分割方法的第一步，在图像分割中非常重要。,三、数字图像处理技术简介,常用的三个边缘检测算子及其检测结果：,Lena原图,Robert算子,sobel算子,laplace算子,三、数字图像处理技术简介,（2）基于区域的分割方法基于区域的分割方法也有并行区域技术和串行区域技术两类；并行区域技术的主要方法是阈值分割法，串行区域技术的主要方法是区域生长法。阈值分割法 阈值分割法,即通过阈值定义图像中不同目标的区域归属,所有大于等于某阈值的像素属于物体,所有小于该阈值的像素排除在物体之外,这种方法有利于目标识别。阈值分割法的关键问题是选取合适的阈值，因此如何搜索得到最优分割阈值是阈值分割研究的热点。,三、数字图像处理技术简介,530500分辨率的灰度级图像,阈值分割后,三、数字图像处理技术简介,区域生长法 区域生长法的基本思想是，逐步将具有相似性质的像素集中起来构成各个不同的区域，实现图像的分割。分裂合并法 分裂合并法与区域生长法相似的分割方法还有，基本思想是从整幅图像开始，通过不断分裂和合并，得到各个不同性质或属性的区域。分裂合并法一般常用四叉树或金字塔式分割技术来完成。,三、数字图像处理技术简介,盆腔骨CT原图,提取边缘,区域生长分割结果,图像分割应用实例,三、数字图像处理技术简介,4.图像分割方法的比较 以下分别选用了早晨、中午和傍晚的烟尘图像，对阈值分割、区域生长、分裂合并等3种基于区域的分割方法作一个比较。,(a)早上烟尘图像(b)中午烟尘图像(c)傍晚烟尘图像,3幅原始图像,三、数字图像处理技术简介,(d)(e)(f)阈值分割算法的结果,(g)(h)(i)区域生长算法的结果,(j)(k)(l)分裂合并算法的结果,三、数字图像处理技术简介,数字图像处理与相关学科的联系和区别,数字图像处理是一门研究图像理论、技术和应用的交叉学科。研究方法上，与数学、物理学（光学）、生理学、心理学、电子学、计算机科学相互借鉴；研究范围上，与计算机图形学、模式识别、计算机视觉等多个专业相互交叉。1.数字图像处理与相关学科的联系 数字图像处理与计算机图形学、计算机视觉互相渗透，覆盖面有很多重合。,5,三、数字图像处理技术简介,2.数字图像处理与相关学科的区别（1）与计算机图形学的区别 计算机图形学是应用计算机生成、处理、存贮、显示图形的学科；计算机图形学在计算机辅助设计/计算机辅助制作(CAD/CAM)，多媒体技术，图形用户界面，科学计算可视化等领域广泛应用。计算机图形学的数据流是从数据到图形，与图像分析时的数据流方向相反（从图像到数据）。,（2）与模式识别的区别 模式识别是利用计算机对某些物理现象进行分类，在错误概率最小的条件下，使识别的结果尽量与事物相符。模式识别在医学、军事等众多领域应用十分广泛。,三、数字图像处理技术简介,（3）与计算机视觉的区别 计算机视觉是要为计算机和机器人开发具有与人类水平相当的视觉能力。在建立计算机视觉系统时需要用到图像处理、模式识别学科中的有关技术，但计算机视觉研究的内容要比这些学科更为广泛。,三、数字图像处理技术简介,本章小结,数字图像处理己广泛应用于通信、医疗、工业控制、交通监控、资源勘探和机器视觉等众多领域，己成为应用最广的信息处理技术之一。本章介绍了如下主要内容：1）概述了数字图像处理的基础知识，阐明了数字图像处理的基本特点，回顾了数字图像处理的发展历程；介绍了数字图像处理在许多领域的实际应用。2）介绍了数字图像处理的主要应用领域；3）介绍了数字图像处理研究的主要问题：即图像增强、图像复原、图像重建、图像分割等。目的是希望读者了解数字图像处理的基本概念；了解数字图像处理研究的主要内容；了解数字图像处理在各个领域中的应用，以及与计算机图形学、模式识别、计算机视觉等学科的关系，以利于今后的学习、工作和择业。,Thank You!,第十六章（完）,