数字图像处理概论.ppt

数字图像处理,吴庆阳,教学内容,图像处理是计算机科学与技术的一门专业课，主要讲授图像处理的数字处理技术，包括处理、分析与变换的基本理论、方法和技术。分为三个部分：第一部分讲述数字图像的基本知识和图像线性变换；第二部分讲述数字图像处理的基本理论与技术：包括图像的抽样量化、图像增强、图像恢复和图像的编码压缩等；第三部分讲述图像分析的基本理论与技术：包括图像分割、分类分析、投影重建与图像识别等。,前修课程,教学方式,教 师：以课堂讲授为主（幻灯片，音频素材）学 生：以实验和书本理论并重教科书：著 朱志刚等翻译 数字图像处理 电子工业出版社 1998.9参考书：Rafael C.Gonzalez 阮秋琦等译 数字图象处理（第二版）电子工业出版社 2003年辅助教学工具：MATLAB、Photoshop等,考核方式,1.期末大作业 60%；2.平时上课和作业 40%,第一章 概 论,1.1 数字图像处理及其特点1.2 数字图像处理的目的和主要内容 1.3 数字图像处理系统 1.4 数字图像处理的应用 1.5 数字图像处理的发展动向,1.1 数字图像处理及其特点,1.1.1 数字图像与数字图像处理,1.数字图像 用计算机进行图像处理的前提是图像必须以数字格式存储，我们把以数字格式存放的图像称之为数字图像。常见的各种照片、图片、海报、广告画等均属模拟图像，要将模拟图像数字化后生成数字图像，需要利用数字化设备。目前，将模拟图像数字化的主要设备是扫描仪，将视频画面数字化的设备有图像采集卡。当然，也可以利用数码照相机直接拍摄以数字格式存放的数字图像。模拟图像经扫描仪进行数字化或由数码照相机拍摄的自然景物图像，在计算机中均是以数字格式存储的。既然是数字，计算机当然可以方便地进行各种处理，以达到视觉效果和特殊效果。,在计算机中，图像被分割成图1-1所示的像素（Pixel），各像素的灰度值用整数表示。一幅MN个像素的数字图像，其像素灰度值可以用M行、N列的矩阵G表示：,(1-1),图1-1 数字图像,2.数字图像处理 1）数字图像处理所谓数字图像处理就是利用计算机对图像信息进行加工以满足人的视觉心理或者应用需求的行为。具体来说就是把利用计算机对图像进行去除噪声、增强、复原、分割、提取特征等的理论、方法和技术称为数字图像处理（Digital Image Processing）。一般，图像处理是用计算机和实时硬件实现的，因此也称之为计算机图像处理（Computer Image Processing）。,在日常生活中，图像处理已经得到广泛应用。例如，电脑人像艺术，电视中的特殊效果，自动售货机钞票的识别，邮政编码的自动识别和利用指纹、虹膜、面部等特征的身份识别等。在医学领域，很早以前就采用X射线透视、显微镜照片等来诊断疾病。现在，计算机图像处理已成为疾病诊断的重要手段，用一般摄影方法不能获取的身体内部的状况，也能由特殊的图像处理装置获取，最具有代表性的就是X射线CT（Computed Tomograph，计算机断层摄像）。,本世纪20年代，纽约伦敦海底电缆传输数字化的新闻图片。传递时间从一个多星期减少到3个小时。,1921年电报打印机采用特殊字符在编码纸带打印。输出设备从专用到通用再到专用。,1929年从伦敦到纽约15级色调通过电缆传递照片。从早期5个灰度到15灰度。现在的网络、移动通信再次历经这个过程。,1922年两次穿越大西洋，穿孔纸得到图像检测误差。图像通信系统信源编码和信道编码。,2）数字图像处理的产生和发展,五十年代中期在太空计划的推动下开始这项技术的研究。重要标志是1964年美国喷气推进实验室（JPL）正式使用数字计算机对“徘徊者7号”太空船送回的四千多张月球照片进行了处理。,美国航天器传送的第一张月球照片，1964年7月31日在光线影响月球表面17分钟摄取的图像。,60年代末，数字图象处理形成一个比较完整的理论与技术体系，从而构成了一门独立的技术70年代，CT的发明，血球自动分类仪的商业化CT发明获得1979年诺贝尔医学奖。X射线1901年物理学奖。70年代以来迅猛发展。广泛应用于太空探索，遥感应用，生物医学工程工业应用，军事应用等方面。,数字图像处理的产生和迅速发展主要受如下三个方面的影响。一是计算机的发展。早期的计算机无论在计算速度或存储容量方面，难于满足对庞大图像数据进行实时处理的要求。随着计算机硬件技术及数字化技术的发展，计算机、内存及外围设备的价格急剧下降，而其性能却有了大幅度的提高。过去只能用大型计算机完成的庞大处理，现在，在个人计算机（PC机）上也能够轻而易举地实现。二是数学的发展，特别是离散数学理论的创立和完善，为数字图像处理奠定了理论基础。,三是军事、医学和工业等方面应用需求的不断增长。自20世纪20年代，图像处理首次应用于改善伦敦和纽约之间海底电缆发送的图片质量以来，经过几十年的研究与发展，数字图像处理的理论和方法进一步完善，应用范围更加广阔，已经成为一门新兴的学科，并在向更高级的方向发展。如在景物理解和计算机视觉（机器视觉）方面，图像处理已由二维处理发展到三维理解或解释。近几年来，随着计算机和各个相关领域研究的迅速发展，科学计算可视化、多媒体技术等研究和应用的兴起，数字图像处理从一个专门领域的学科，变成了一种新型的科学研究和人机界面的工具。,1.1.2 数字图像处理的特点 数字图像处理是利用计算机的计算，实现与光学系统模拟处理相同效果的过程。数字图像处理具有如下特点：（1）处理精度高，再现性好。利用计算机进行图像处理，其实质是对图像数据进行各种运算。由于计算机技术的飞速发展，计算精度和计算的正确性勿庸置疑；另外，对同一图像用相同的方法处理多次，也可得到完全相同的效果，具有良好的再现性。（2）处理的多样性。由于图像处理是通过运行程序进行的，因此，设计不同的图像处理程序，可以实现各种不同的处理目的。,（3）图像数据量庞大。图像中包含有丰富的信息，可以通过图像处理技术获取图像中包含的有用的信息，但是，数字图像的数据量巨大。一幅数字图像是由图像矩阵中的像素（Pixel）组成的，通常每个像素用红、绿、蓝三种颜色表示，每种颜色用8 bit表示灰度级。则一幅10241024不经压缩的真彩色图像，数据量达24 MB（即102410248 bit3=24 Mb）。X射线照片一般用64256 Kb的数据量，一幅遥感图像为32402340830 Mb。如此庞大的数据量给存储、传输和处理都带来巨大的困难。如果精度及分辨率再提高，所需处理时间将大幅度增加。,（4）处理费时。由于图像数据量大，因此处理比较费时。特别是处理结果与中心像素邻域有关的处理过程花费时间更多。（5）图像处理技术综合性强。数字图像处理涉及的技术领域相当广泛，如通信技术、计算机技术、电子技术、电视技术等，当然，数学、物理学等领域更是数字图像处理的基础。,1.2 数字图像处理的目的和主要内容,1.2.1 数字图像处理的目的 一般而言，对图像进行加工和分析主要有如下三方面的目的：（1）提高图像的视感质量，以达到赏心悦目的目的。如去除图像中的噪声，改变图像的亮度、颜色，增强图像中的某些成份、抑制某些成份，对图像进行几何变换等，从而改善图像的质量，以达到或真实的、或清晰的、或色彩丰富的、或意想不到的艺术效果。,（2）提取图像中所包含的某些特征或特殊信息，以便于计算机分析，例如，常用作模式识别、计算机视觉的预处理等。这些特征包括很多方面，如频域特性、灰度颜色特性、边界区域特性、纹理特性、形状拓扑特性以及关系结构等。（3）对图像数据进行变换、编码和压缩，以便于图像的存储和传输。,1.2.2 数字图像处理的主要内容 不管图像处理是何种目的，都需要用计算机图像处理系统对图像数据进行输入、加工和输出，因此数字图像处理研究的内容主要有以下7个过程。1.图像获取、表示和表现（Image Acquisition，Representation and Presentation）该过程主要是把模拟图像信号转化为计算机所能接受的数字形式，以及把数字图像显示和表现出来（如打印）。这一过程主要包括摄取图像、光电转换及数字化等几个步骤。,2.图像复原（Image Restoration）当造成图像退化（图像品质下降）的原因已知时，复原技术可以对图像进行校正。图像复原最关键的是对每种退化都需要有一个合理的模型。例如，掌握了聚焦不良成像系统的物理特性，便可建立复原模型，而且对获取图像的特定光学系统的直接测量也是可能的。退化模型和特定数据一起描述了图像的退化，因此，复原技术是基于模型和数据的图像恢复，其目的是消除退化的影响，从而产生一个等价于理想成像系统所获得的图像。,3.图像增强（Image Enhancement）图像增强是对图像质量在一般意义上的改善。当无法知道图像退化有关的定量信息时，可以使用图像增强技术较为主观地改善图像的质量。所以，图像增强技术是用于改善图像视感质量所采取的一种方法。因为增强技术并非是针对某种退化所采取的方法，所以很难预测哪一种特定技术是最好的，只能通过试验和分析误差来选择一种合适的方法。有时可能需要彻底改变图像的视觉效果，以便突出重要特征的可观察性，使人或计算机更易观察或检测。在这种情况下，可以把增强理解为增强感兴趣特征的可检测性，而非改善视感质量。电视节目片头或片尾处的颜色、轮廓等的变换，其目的是得到一种特殊的艺术效果，增强动感和力度。,4.图像分割（Image Segmentation）把图像分成区域的过程就是图像分割。图像中通常包含多个对象，例如，一幅医学图像中显示出正常的或有病变的各种器官和组织。图像处理为达到识别和理解的目的，几乎都必须按照一定的规则将图像分割成区域，每个区域代表被成像的一个物体（或部分）。图像自动分割是图像处理中最困难的问题之一。人类视觉系统的优越性，使得人类能够将所观察的复杂场景中的对象分开，并识别出每个物体。但对计算机来说，这却是一个难题。目前，大部分图像的自动分割还需要人工提供必需的信息来帮助，只有一部分领域（如印刷字符自动识别（OCR）、指纹识别等）开始使用。由于解决和分割有关的基本问题是特定领域中图像分析实用化的关键一步，因此，将各种方法融合在一起并使用知识来提高处理的可靠性和有效性是图像分割的研究热点。,5.图像分析 图像处理应用的目标几乎均涉及到图像分析，即对图像中的不同对象进行分割、特征提取和表示，从而有利于计算机对图像进行分类、识别和理解。在工业产品零件无缺陷且正确装配检测中，图像分析是对图像中的像素转化成一个“合格”或“不合格的判定。在有的应用中，如医学图像处理，不仅要检测出物体（如肿瘤）的存在，而且还要检查物体的大小。,6.图像重建 图像重建与上述的图像增强、图像复原等不同。图像增强、图像复原的输入是图像，处理后输出的结果也是图像，而图像重建是指从数据到图像的处理，即输入的是某种数据，而经过处理后得到的结果是图像，CT就是图像重建处理的典型应用实例。目前，图像重建与计算机图形学相结合，把多个二维图像合成三维图像，并加以光照模型和各种渲染技术，能生成各种具有强烈真实感的高质量图像。,7.图像压缩编码 数字图像的特点之一是数据量庞大。尽管现在有大容量的存贮器，但仍不能满足对图像数据（尤其是动态图像、高分辨率图像）处理的需要，因此在实际应用中图像压缩是必需的。如果数据不压缩，则在存储和传输中就需要占很大的容量和带宽，因而增加了成本。图像压缩的目的就是压缩数据量。,图像编码主要是利用图像信号的统计特性及人类视觉的生理学及心理学特性，对图像信号进行高效编码，即研究数据压缩技术，目的是在保证图像质量的前提下压缩数据，便于存储和传输，以解决数据量大的矛盾。一般来说，图像编码的目的有三个：减少数据存储量；降低数据率以减少传输带宽；压缩信息量，便于特征提取，为后续识别作准备。,1.3 数字图像处理系统,1.3.1 数字图像处理系统硬件 早期的数字图像处理系统为了提高处理速度、增加容量都采用大型机。随着计算机性价比（性能价格比）日新月异的提高，以小型机为主的微型图像处理系统得到发展。主机为PC机，配以图像采集卡及显示设备就构成了最基本的微型图像处理系统。微型图像处理系统成本低、应用灵活、便于推广。特别是微型计算机的性能逐年提高，使得微型图像处理系统的性能也不断升级，加之软件配置丰富，使其更具实用意义。,图1-3 图像处理系统示意图,1、图像采集设备 1）电视摄像机(Video Camera)电视摄像机是目前使用最广泛的图像获取设备。电视摄像机的核心部件是光电转换装置，也称为固态阵。目前大多数感光基元多为电荷耦合器件CCD（Charge Coupled Device），CCD可以将照射在其上的光信号转换为对应的电信号。该设备小巧、速度快、成本低、灵敏度高，多作为实时图像输入设备应用。但灰度层次较差、非线性失真较大、有黑斑效应，在使用中需要校正。目前，CCD摄像机可达19201080的高分辨率，快门速度可达10-4s。,2）扫描仪（Scanner）扫描仪是将各种形式的图像信息（如图片、照片、胶片及文稿资料等）输入计算机的重要工具，特点是精度和分辨率高。目前，1200DPI（Dot Per Inch）以上精度的扫描仪很常见。而且扫描仪的成本很低，一台平板式扫描仪的价格在千元左右。由于扫描仪良好的精度和低廉的价格，已成为当今应用最为广泛的图像数字化设备。但用扫描仪获取图像信息速度较慢，不能实现实时输入。,3）数码照相机（Digital Camera）数码照相机也叫数字相机，是一种能够进行景物拍摄，并以数字格式存放拍摄图像的特殊照相机。它的核心部件是CCD图像传感器，主流机型分辨率已在1000万像素以上。数码照相机的感光器件也是CCD阵列。CCD可以对亮度进行分级，但并不能识别颜色。为此，数码照相机用红、绿和蓝三个彩色滤镜，当光线从红、绿、蓝滤镜中穿过时，就可以得到每种色光的反应值，再通过软件对得到的数据进行处理，从而确定每一个像素点的颜色。CCD生成的数字图像被传送到照相机的一块内部芯片上。该芯片负责把图像转换成相机内部的存储格式(通常为JPEG格式)。最后，把生成的图像保存在存储卡中。数码照相机可通过USB接口与计算机相连，将拍摄的图像下载到计算机中，以便处理或插到文档Web页面中，或用彩色打印机输出。,4）遥感图像获取设备 遥感中常用的图像获取设备有光学摄影设备，如摄像机、多光谱像机等；红外摄影设备，如红外辐射计、红外摄像仪、多通道红外扫描仪、多光谱扫描仪（MSS）；微波设备，如微波辐射计、侧视雷达、真空孔径雷达、合成孔径雷达(SAR)。,2.图像输入卡（采集卡)通常图像输入卡安装于计算机主板扩展槽中，主要包括图像存储器单元、显示查找表（LUT）单元、CCD摄像头接口(A/D)、监视器接口(D/A)和PC机总线接口单元。工作过程如下：摄像头实时或准实时采集图像数据，经A/D变换后将图像存放在图像存储单元的一个或三个通道中，D/A变换电路自动将图像显示在监视器上。通过主机发出指令，将某一帧图像静止在存储通道中，即采集或捕获一帧图像，然后可对图像进行处理或存盘。高档卡还包括卷积滤波、FFT（快速傅立叶变换）等图像处理专用的快速部件。,3.显示卡 显示卡是记忆和保存图像的地方，通常，存贮的图像要随时显示在显示器上。PC机多采用1024768或12801024个像素点。通常在图像处理装置中，灰度值红(R)、绿(G)、蓝(B)各占8位（bit），共计24位，可以表示1670万种颜色，这种显示卡称为真彩色显示卡。,4.计算机 图像处理的主要特点是数据量大、运算时间长，因而对系统硬件配置要求较高。目前，在PC机上配置奔腾P4 2.4G以上CPU、2G内存、1T以上硬盘的计算机已属常见，计算速度大幅度提高，可与几年前的大型机媲美。为了加快图像的显示和处理速度，用于图像处理的PC机配置应尽可能高一些。当然，有条件时最好采用图形工作站进行图像处理。,5.图像存贮装置 图像数据量庞大，早期其存储成为问题。到目前为止，除了大容量磁盘可供存储图像数据之外，MO、CD、DVD,蓝光DVD等光学存储装置以及网络存储系统，为存储海量图像数据提供了极好的支持。,1.3.2 高速图像处理卡 实用图像处理系统分为在线处理系统和离线处理系统两种形式。在研究中，多采用离线图像处理系统，主要用于开发和验证图像处理与分析的算法。在线图像处理系统除上述设备外，还需用图像处理专用硬件代替图像采集卡，以构成自动处理系统，可以对生产现场采集的图像进行实时处理，并对其处理结果进行监控。,数字图像处理系统,1.3.3 图像处理系统软件 微型图像处理系统既包含硬件设备，也需要一定的软件环境支持。目前，图像处理系统平台多为Microsoft Windows或X-Windows，开发的主流工具为Microsoft公司的VC+。这是因为VC+是一种具有高度综合性能的软件开发工具，用它开发出来的程序有着运行速度快、可移植能力强等优点。本书中实例也是在Windows平台下，用VC+6.0实现的。此外，各国的科学家和研究机构开发了不少专用的图像处理软件环境，下面仅对主要的几种作一简单介绍。,MATLAB的图像处理工具箱 MATLAB是由美国MathWorks公司推出的用于数值计算的有力工具，它具有相当强大的矩阵运算和操作功能，并且MATLAB图像处理工具箱提供了丰富的图像处理函数，灵活运用这些函数几乎可以完成所有的图像处理工作，从而大大节省编写低层算法代码的时间，避免程序设计中的重复劳动，达到事半功倍的效果。但是，MATLAB强大的功能只能在安装有MATLAB系统的机器上使用图像处理工具箱中的函数或自编的m文件来实现，实际应用极为不便，且MATLAB使用行解释方式执行代码，执行速度很慢。,1.4 数字图像处理的应用,数字图像处理主要应用于下面的几个领域。1）通讯 通讯包括图像传输、电视电话、电视会议等，主要是进行图像压缩甚至理解基础上的压缩。2）宇宙探测 由于太空技术的发展，需要用数字图像处理技术处理大量的星体照片。,通讯,通讯：可视电话，视频点播等。,宇宙探测,美国JPL实验室（Jet Propulsion Laboratory）探索者月球图像勇气号火星图像,3）遥感 航空遥感和卫星遥感图像需要用数字技术加工处理，并提取有用的信息。主要用于地形地质，矿藏探查，森林、水利、海洋、农业等资源调查，自然灾害预测预报，环境污染监测，气象卫星云图处理以及地面军事目标的识别。,灾害防治,卫星云图,深大卫星地图,4）生物医学领域中的应用 图像处理在医学界的应用非常广泛，无论是临床诊断还是病理研究都大量采用图像处理技术。它的直观、无创伤、安全方便等优点备受青睐。图像处理首先应用于细胞分类、染色体分类和放射图像等。70年代数字图像处理在医学上的应用有了重大突破，1972年X射线断层扫描CT得到实用；1977年白细胞自动分类仪问世；1980实现了CT的立体重建。有人认为计算机图像处理在医学上应用最成功的例子就是X射线CT，其中主要研制者Hounsfeld(英)和Commack(美)获得了1979年的诺贝尔生理医学奖。,数字图像处理应用_医疗诊断,医疗诊断：CT技术，癌细胞识别等。,B超图像核磁、共振图像,(a)序列图像之1(b)序列图像之5(c)序列图像之11,(d)序列图像之14(e)序列图像之20(f)序列图像之3031幅蝴蝶眼睛序列显微图像,改进Laplacian法multi-focus结果(1111窗口、步长5),5）工业生产中的应用 在生产线中对产品及部件进行无损检测是图像处理技术的重要应用领域。该领域的应用从70年代起取得了迅速的发展，主要有产品质量检测、生产过程的自动控制、CADCAM等。在产品质量检测方面，如食品、水果质量检查，无损探伤，焊缝质量或表面缺陷。又如，金属材料的成分和结构分析，纺织品质量检查，光测弹性力学中应力条纹的分析等。在电子工业中，可以用来检验印刷电路板的质量、监测零件部件的装配等。在工业自动控制中，主要使用机器视觉系统对生产过程进行监视和控制，如港口的监测调度、交通管理、流水生产线的自动控制等。在计算机辅助设计和辅助制造方面，已获得越来越广泛的应用，并和基于图形学的模具、机械零件、服装、印染花型CAD结合。目前二维图纸自动输入和理解，根据3D实物建立CAD模型等越来越引起重视。,数字图像处理应用_工业检测,工业检测与测量：公路路面破损图像识别,网 裂,龟 裂,三维扫描,6）军事、公安等方面的应用 军事目标的侦察、制导和警戒系统、自动灭火器的控制及反伪装；公安部门的现场照片、指纹、手迹、印章、人像等的处理和辨识；历史文字和图片档案的修复和管理等。7）机器人视觉 机器视觉作为智能机器人的重要感觉器官，主要进行三维景物理解和识别，是目前处于研究之中的开放课题。机器视觉主要用于军事侦察、危险环境的自主机器人，邮政、医院和家庭服务的智能机器人，装配线工件识别、定位，太空机器人的自动操作等。,数字图像处理应用_视觉监控,视觉监视、公安：银行防盗，人脸识别等。,数字图像处理应用_高精度制导,军事侦察、高精度制导,8）视频和多媒体系统 目前，电视制作系统广泛使用的图像处理、变换、合成，多媒体系统中静止图像和动态图像的采集、压缩、处理、存贮和传输等。9）科学可视化HTSS 图像处理和图形学紧密结合，形成了科学研究各个领域新型的研究工具。,10）电子商务 在当前呼声甚高的电子商务中，图像处理技术也大有可为，如身份认证、产品防伪、水印技术等。总之，图像处理技术应用领域相当广泛，已在国家安全、经济发展、日常生活中充当越来越重要的角色，对国计民生的作用不可低估。,影视业、娱乐、公众服务,广告，基于内容检索等。,1.4 数字图像处理的发展动向,（1）在进一步提高精度的同时着重解决处理速度问题。如，在航天遥感、气象云图处理方面，巨大的数据量和处理速度仍然是主要矛盾之一。（2）加强软件研究、开发新的处理方法，特别要注意移植和借鉴其他学科的技术和研究成果，创造新的处理方法。（3）加强边缘学科的研究工作，促进图像处理技术的发展。如，人的视觉特性、心理学特性等的研究，如果有所突破，将对图像处理技术的发展起到极大的促进作用。,（4）加强理论研究，逐步形成图像处理科学自身的理论体系。（5）图像处理领域的标准化。图像的信息量大、数据量大，因而图像信息的建库、检索和交流是一个重要的问题。就现有的情况看，软件、硬件种类繁多，交流和使用极为不便，成为资源共享的严重障碍。应建立图像信息库，统一存放格式，建立标准子程序，统一检索方法。,图像处理技术未来发展大致可归纳为：（1）图像处理的发展将围绕HDTV（高清晰度电视）的研制，开展实时图像处理的理论及技术研究，向着高速、高分辨率、立体化、多媒体化、智能化和标准化方向发展。（2）图像、图形相结合，朝着三维成像或多维成像的方向发展。（3）硬件芯片研究。把图像处理的众多功能固化在芯片上，使之更便于应用。,（4）新理论与新算法研究。在图像处理领域，近几年来，引入了一些新的理论并提出了一些新的算法，如小波分析（Wavelet）、分形几何（Fractal）、形态学（Morphology）、遗传算法（GA，Genetic Algorithms）、人工神经网络等（Artificial neural networks）。这些理论及建立在其上的算法，将会成为今后图像处理理论与技术的研究热点。数字图像处理经过初创期、发展期、普及期及广泛应用几个阶段，如今已是各个学科竞相研究并在各个领域广泛应用的一门科学。随着科学技术的进步以及人类需求的不断增长，图像处理科学无论是在理论上还是实践上，均会取得更大的发展。,