北京大学数字图像处理(冈萨雷斯)ppt课件.pptx

,研究生课程,数字图像处理 Digital Image Processing,彭宇新 北京大学计算机科学技术研究所 E_mail:,数字图像处理,课程介绍教材及参考书上课主要内容课程目的与要求考试内容助教老师国内外相关会议和杂志目前需要做的事情,教材及参考书,教材Rafael C. Gonzalez, Richard E. Woods 著，阮秋琦、阮宇智等译，数字图像处理（第 二版），电子工业出版社，2003年。Rafael C. Gonzalez, Richard E. Woods， Digital Image Processing(Second Edition)，Prentice Hall，2003。,教材及参考书（续）,参考书Kenneth R. Castleman著，朱志刚、林学訚、石定 机等译，数字图像处理，电子工业出版社，2002年。章毓晋，图象工程上册图象处理和分析，清华大 学出版社，2003年。阮秋琦，数字图像处理学，电子工业出版社，2004 年。杨枝灵、王开等，Visual C+数字图像获取、处理 及实践应用，人民邮电出版社，2003年。章毓晋，基于内容的视觉信息检索，科学出版社， 2003年。,上课主要内容,1.概述2.空间域图像增强3.彩色图像处理4.基于内容的图像检索（补充）5.傅里叶变换6.频率域图像增强7.图像复原8.图像压缩（1）,上课主要内容（续）,9.图像压缩（2）10.形态学图像处理11.图像分割12.表示与描述13.基于内容的视频分析和检索技术（补充）14.考试复习,课程目的与要求,掌握数字图像处理的基本概念、原理和 方法初步运用所学知识解决实际问题为图像处理及相关领域的研究打下基础图像处理计算机视觉基于内容的图像、视频检索人脸识别、指纹识别、掌纹识别、虹膜识别图像分类、图像和视频的语义概念检测、,考试内容,平时作业50%，考试成绩50%平时作业选择下列两个之一：分组完成一个大作业其他与图像处理相关的课题(需要上课老师 认可)考试闭卷完成（基本概念、原理和算法）,助教老师,曹磊E_mail: 电话：82529384注意：有不懂的地方多问助教老师，充分发挥助教老师的 指导作用,国内外相关会议和杂志,国内杂志：一级学报,软件学报电子学报计算机研究与发展,国内外相关会议和杂志（续）,国外会议：IEEE International Conference on Computer Vision (ICCV)IEEE International Conference on Computer Vision and Pattern Recognition (CVPR)ACM Multimedia Conference (MM),国内外相关会议和杂志（续）,国外会议：IEEE International Conference on Image Processing (ICIP)IEEE International Conference on Multimedia and Expo (ICME)International Conference on Pattern Recognition (ICPR)ACM International Conference on Image and Video Retrieval (CIVR),国内外相关会议和杂志（续）,国外期刊：,IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI)IEEE Transactions on Image Processing (IP)IEEE Transactions on Circuits and Systems for Video Technology (CSVT)International Journal of Computer Vision (IJCV)Pattern Recognition (PR)Image and Vision Computing (IVC),目前需要做的事情,选课学生发送下列信息给老师: 姓名学号联系方式：E_mail,电话硕士生或博士生，年级所在院系、实验室、导师研究方向,数字图像处理基础,概述概念：图像、数字图像、像素数字图像处理的起源数字图像处理的应用领域图像处理系统的部件基础知识图像的采样和量化数字图像的表示数字图像的质量像素间的一些基本关系,什么是图像？,定义为二维函数f(x,y),其中，x,y是空间坐标，f(x,y)是点（x,y）的幅值灰度图像是一个二维灰度（或亮度）函数f(x,y)彩色图像由三个（如RGB,HSV）二维灰度（或亮度）函数f(x,y)组成,x,y,y,x,什么是数字图像？,像素组成的二维排列，可以用矩阵表示 对于单色（灰度）图像而言，每个像素的亮度用一个数 值来表示，通常数值范围在0到255之间，0表示黑、255表 示白，其它值表示处于黑白之间的灰度彩色图像可以用红、绿、蓝三元组的二维矩阵来表示。 通常，三元组的每个数值也是在0到255之间，0表示相应 的基色在该像素中没有，而255则代表相应的基色在该像 素中取得最大值,y,x,数字图像的像素表示,x,y,什么是像素？数字图像由二维的元素组成，每一个元素具有一个 特定的位置（x,y）和幅值f(x,y),这些元素就称为像素,数字图像处理的起源人类分析,图像在传输过程后的更好复原空间应用：图像增强、图像复原医学图像作用：通过图像增强、图像复原等技术，增强或复 原模糊或损毁的图像机器感知自动字符识别OCR人脸识别指纹识别，生物特征识别,数字图像处理的应用领域,传统领域医学、空间应用、地理学、生物学、军事最新领域数码相机(DC)、数码摄像机(DV)指纹识别、人脸识别互联网、视频、多媒体等基于内容的图像检索、视频检索、多媒体检索水印、游戏、电影特技、虚拟现实、电子商务等数字图像处理的应用无处不在,例1：图像增强直方图均衡化,例2：人脸检测与识别,例3：镜头边界检测,例4：基于内容的图像检索 例5：基于内容的镜头检索,例6：基于内容的视频片断检索,例7：视频字幕识别,例7：视频字幕识别,例8：101个视频概念的检测,视频语义标注的基本方法,测试 视频,训练 学习,标注,训练 视频库,语义 概念 模型,视频 标注,特征提取,特征提取,概念 检测,例8：101个视频概念的检测,输入图像,输出图像,数 字 化 设 备,图 像 输 出 设 备,InternetInternet图像存储系统,图像处理系统的基本组成结构图像处理计算机图 像,图像处理系统的基本组成结构主要由三大部分组成图像数字化设备，包括数码相机、数 码摄像机、带照相和/或摄像功能的手机 等图像处理设备，包括计算机和存储系 统图像输出设备，包括打印机，也可以 输出到Internet上的其它设备,图像存储系统,图像文件格式体系互联网用：GIF、JPG印 刷 用：TIF、JPG、TAG 、PCX 国际标准：TIF、JPG、BMP图像存储体系：分级存储 内存存储：处理时使用 硬盘存储：处理、备份时用（在线） 备份存储：光盘、磁带（离线、近线） 网络存储：SAN、 NAS,为什么要用SAN,传统存储解决方案 信息岛,存储区域网SAN(Storage Area Network),SAN,SAN是什么？,SAN是什么？（续）,不是client/server,而是client/storagedevices独立于LAN之外的高速存储网络一般采用高速的光纤通道作为传输媒体（2Gbit/s）将存储设备通过光通道互连设备构成一个存储子网支持服务器和存储设备之间任意到任意的连接SAN上的任何一台服务器均可存取网络中的任何一个存 储设备对网上的存储资源实施集中统一的管理,NAS (Network Attached Storage)是什么？,是优化的文件服务器，存储设备与服务器均直接连 接到LAN上，使用TCP/IP等LAN协议，通过LAN实现数据交 换和存储管理。由于使用网络协议，因而会有速度和延 时的问题，且系统扩展能力受到网络带宽的限制。,File I/O,File I/O,SAN与NAS比较,数字图像处理基础图像的采样和量化数字图像的表示数字图像的质量像素间的一些基本关系 邻域处理方法是图像增强和复原过程的核心,图像的采样和量化大多数传感器的输出是连续电压波形为了产生一幅数字图像，需要把连续的 感知数据转化为数字形式这包括两种处理：取样和量化取样：图像空间坐标的数字化量化：图像函数值（灰度值）的数字化,N,图像采样空间坐标(x,y)的数字化被称为图像采样确定水平和垂直方向上的像素个数N、MM,函数取值的数字化被称为图像的量化，如 量化到256个灰度级f,图像的量化,图像的采样与数字图像的质量,图像的采样与数字图像的质量,10241024512512,256256,128128,6464,3232,265x180,133x90,66x45,33x22,图像的采样与数字图像的质量,256灰度级,16灰度级,8灰度级,4灰度级,图像的量化与数字图像的质量,非统一的图像的采样 在灰度级变化尖锐的区域，用细腻的采样， 在灰度级比较平滑的区域，用粗糙的采样,图像的采样和量化,图像的采样和量化非统一的图像的量化 在边界附近使用较少的灰度级。剩余的 灰度级可用于灰度级变化比较平滑的区 域 避免或减少由于量化的太粗糙，在灰度 级变化比较平滑的区域出现假轮廓的现 象,数字图像处理基础图像的采样和量化数字图像的表示数字图像的质量像素间的一些基本关系,二维离散亮度函数f(x,y)x，y说明图像像素的空间坐标函数值 f 代表了在点(x,y)处像素的灰度 值二维矩阵Am,nm , n说明图像的宽和高。 矩阵元素a(i，j)的值，表示图像在第 i 行，第 j 列的像素的灰度值；i,j表示几何 位置,数字图像的表示,图像描述信息如图像高度和宽度等 信息图像数据顺序存放的连续数据BMP格式,1.位图文件头2.位图信息头3.调色板4.图像数据,head,Data,数字图像的表示,typedef struct tagBITMAPFILEHEADER,WORDDWORD WORD WORD DWORD,bfType;bfSize; bfReserved1; bfReserved2; bfOffBits;,/文件类型，必须是字符串”BM”/指定文件大小/保留字，不考虑/保留字，不考虑/从文件头到位图数据的偏移字节数, BITMAPFILEHEADER;,BMP格式1、位图文件头,typedef struct tagBITMAPINFOHEADER,DWORD LONG LONG WORD WORD DWORD DWORD LONG LONG DWORD DWORD,biSize; biWidth; biHeight; biPlanes; biBitCount biCompression; biSizeImage;biXPelsPerMeter; biYPelsPerMeter; biClrUsed; biClrImportant;,/该结构的长度，40个字节/图像的宽度，单位是像素/图像的高度，单位是像素/必须是1/颜色位数，如1，4，8，24/压缩类型，如BI_RGB,BI_RLE4/实际位图数据占用的字节数/水平分辨率/垂直分辨率/实际使用的颜色数/重要的颜色数, BITMAPINFOHEADER;,BMP格式2、位图信息头,BMP格式3、调色板,typedef struct tagRGBQUAD,BYTE BYTE BYTE BYTE,rgbBlue; rgbGreen; rgbRed; rgbReserved;,/该颜色的蓝色分量/该颜色的绿色分量/该颜色的红色分量/保留值，不考虑, RGBQUAD;注：有些位图不需要调色板，如真彩色图， 它们的BITMAPINFOHEADER后面直接是位图数据,BMP格式4、实际的图像数据对于2色位图，1位表示一个像素颜色， 所以一个字节表示8个像素对于16色位图，4位表示一个像素颜色， 所以一个字节表示2个像素对于256色位图，1个字节表示1个像素对于真彩色图，3个字节表示一个像素,数字图像处理基础图像的采样和量化数字图像的表示数字图像的质量像素间的一些基本关系,图像的质量：1、层次灰度级：表示像素明暗程度的整数量例如：像素的取值范围为0-255，就称该 图像为256个灰度级的图像层次：表示图像实际拥有的灰度级的 数量例如：具有32种不同取值的图像，可称 该图像具有32个层次图像数据的实际层次越多，视觉效果就越好,256个层次的图像,16个层次的图像,64个层次的图像,图像的质量：1、层次,图像的质量：2、对比度对比度：是指一幅图像中灰度反差的大小 对比度 = 最大亮度 / 最小亮度, 与清晰度相关的主要因素, 亮度 对比度 尺寸大小 细微层次 颜色饱和度,图像的质量：3、清晰度,降低亮度,影响清晰度因素1、亮度,原图,降低对比度,原图,影响清晰度因素2、对比度,缩小尺寸,原图,影响清晰度因素3、尺寸大小,减少细微层次,原图,影响清晰度因素4、细微层次,降低颜色饱和度,原图,影响清晰度因素5、颜色饱和度,数字图像处理基础图像的采样和量化数字图像的表示数字图像的质量像素间的一些基本关系,像素间的一些基本关系,相邻像素：4邻域D邻域8邻域连通性4连通8连通m连通距离,(x-1,y),P,(x+1,y),4邻域：像素p(x,y)的4邻域是： (x+1,y)；(x-1,y)；(x,y+1)；(x,y-1)用N4(p)表示像素p的4邻域(x,y+1),(x,y-1),相邻像素4邻域,D邻域定义：像素p(x,y)的D邻域是：对角上的点 (x+1,y+1)；(x+1,y-1)；(x-1,y+1)；(x-1,y-1)用ND(p)表示像素p的D邻域,相邻像素D邻域,(x-1,y+1),(x+1,y+1),(x-1,y-1),(x+1,y-1),相邻像素8邻域8邻域定义：像素p(x,y)的8邻域是： 4邻域的点 D邻域的点用N8(p)表示像素p的8邻域。 N8(p) = N4(p) + ND(p), 连通性是描述区域和边界的重要概 念 两个像素连通的两个必要条件是：, 两个像素的位置是否相邻 两个像素的灰度值是否满足特定的相 似性准则（或者是否相等） 4连通、8连通、m连通的定义,像素间的连通性, 对于具有值V的像素p和q，如果q在 集合N4(p)中，则称这两个像素是4 连通的,像素的连通性4连通,像素的连通性8连通 对于具有值V的像素p和q，如果q在集 合N8(p)中，则称这两个像素是8连通 的,对于具有值V的像素p和q，如果:,I.q在集合N4(p)中，或II.q在集合ND(p)中，并且N4(p)与N4(q) 的交集为空（没有值V的像素） 则称这两个像素是m连通的，即4连通和D连通的混合连通。,像素的连通性m连通,是m连通,不是m连通,像素的连通性m连通,p, q,通路的定义一条从具有坐标(x,y)的像素p,到具有坐标(s,t) 的像素q的通路，是具有坐标(x0,y0),(x1,y1),.,(xn,yn)的不同像素的序列。其中，(x0,y0) = (x,y)，(xn,yn) = (s,t)， (xi,yi) 和(xi-1,yi-1)是邻接的，1 i n，n 是路径的长度。如果(x0,y0) = (xn,yn) ,则该通 路是闭合通路,像素的连通性通路,像素之间距离的定义欧氏距离定义D4距离（城市距离）定义D8距离（棋盘距离）定义,像素的连通性距离,像素之间距离的定义对于像素p、q和z，分别具有坐标(x,y)， (s,t)和(u,v)，如果(1) D(p,q) 0 (D(p,q)=0，当且仅 当p=q),(2) D(p,q)=D(q,p)(3)D(p,z) D(p,q) + D(q,z) 则称D是距离函数或度量,欧式距离定义 像素p(x,y)和q(s,t)间的欧式距离定 义如下：D p, q x s2 y t2e 对于这个距离计算法，具有与(x,y) 距离小于等于某个值r的像素是：包含 在以(x,y)为圆心，以r为半径的圆平 面,D4距离（城市距离）,像素p(x,y)和q(s,t)之间的D4距 离定义为：D4(p,q) = |x s| + |y t|,具有D4,= 1的像素是,(x,y)的4邻域,r,D4距离举例 具有与(x,y)距离小于 等于某个值r的那些像 素形成一个菱形例如，与点(x,y)（中 心点）D4距离小于等 于2的像素，形成右边 固定距离的轮廓,D8距离（棋盘距离） 像素p(x,y)和q(s,t)之间的D8距离定义为：D8(p,q) = max(|x s|,|y t|),r,D8距离举例, 具有与(x,y)距离小于 等于某个值r的那些像 素形成一个正方形例如，与点(x,y)（中,心点）D 距离小于等,8于2的像素，形成右边固定距离的轮廓,具有D8,= 1的像素是,(x,y)的8邻域,数字图像处理（1）,任何问题？,研究生课程,数字图像处理 Digital Image Processing,彭宇新 北京大学计算机科学技术研究所 E_mail:,研究生课程,图 像 增 强,处理策略,处理方法 ,空域方法,点处理（变换）,模板处理（滤波）,频域方法 全局处理,局部处理,处理对象,灰度图像,彩色图像,空间域图像增强,基础知识基本概念点运算代数运算直方图运算应用实例镜头边界的检测（补充知识）空间滤波器平滑空间滤波器锐化空间滤波器,基本概念图像增强分为两类：空间域增强：对图像的像素直接处理频域增强 ： 修改图像的傅里叶变换（后面介绍）空间域增强： gx, y Tf x, yf(x,y)是原图像g(x,y)是处理后的图像T是作用于f的操作，定义在(x,y)的邻域空间域增强的简化形式： s Trr是f(x,y)在任意点(x,y)的灰度级s是g(x,y)在任意点(x,y)的灰度级,点运算,点运算1反转变换，2对数变换,0,L-1为图像的灰度级。作用：黑的变白，白的变黑,有时原图的动态范围太大，超出某些显示设备的允许 动态范围，如直接使用原图，则一部分细节可能丢失解决办法是对原图进行灰度压缩，如对数变换,反转变换：s L 1 r,对数变换：s c log1 rc是常数,r 0,点运算1反转变换，2对数变换,图a显示了值为0- 1.5106 的傅里叶频谱在一个8位的系统中显示图b显示了对数变换在8位系统中的显示结果,a,b,点运算3幂次变换,幂次变换：,s cr ,c和 是正常数 1 提高灰度级，在正比函数上方，使图像变亮 1 降低灰度级，在正比函数下方，使图像变暗,例：人体胸上部脊椎骨折的核磁共振图像 1 提高灰度级，使图像变亮。c=1, 0.6,0.4,0.3,点运算3幂次变换, 0.4增强效果最好,点运算3幂次变换, 5,例：航空地面图像 1降低灰度级，使图像变暗c=1, 3,4,5 3, 4,点运算4对比度拉伸,思想：提高图像处理时灰度级 的动态范围,点运算5灰度级切片,关心范围指定较高值， 其它保持不变,r,r,关心范围指定较高值， 其它指定较低值s,s,a变换,b变换,一幅图像,a变换结果,0,255,255,点运算5灰度级切片,点运算6位平面切片,位平面切片 假设图像中每个像素的灰度级是256，这可以用8位来表示，假设图像是由8个1位平面组成，范围从位平面0到位平面7。其中，位平面0包含图像中像素的最低位，位平面 7包含像素的最高位,点运算6位平面切片,作用通过对特定位提高亮度，改善图像质量较高位（如前4位）包含大多数视觉重要数 据较低位（如后4位）对图像中的微小细节有 作用分解为位平面，可以分析每一位在图像中的 相对重要性,点运算6位平面切片一幅8比特分形图像,点运算6位平面切片,代数运算,算术运算加减乘除:一幅图像取反和另一幅图像相乘逻辑运算非与或异或,加法运算的定义C(x,y) = A(x,y) + B(x,y)主要应用举例 去除叠加性噪声 生成图像叠加效果,代数运算加法,去除叠加性噪声对于原图像f(x,y),有一个噪声图像集, gi(x,y) ,i =1,2,.N,其中：gi(x,y) = f(x,y) + h(x,y)i假设噪声h(x,y)均值为0，且互不相关 N个图像的均值定义为：g(x,y) = 1/N(g0(x,y)+g1(x,y)+ gN(x,y)期望值E(g(x,y) = f(x,y)上述图像均值将降低噪声的影响,代数运算加法,代数运算加法,原图,噪声图像,N=8,N=16,N=64,N=128,去除叠加性噪声星系图举例,N=8,N=16,N=64,N=128,去除叠加性噪声星系图举例,灰度级,差 别 越 小， 图像 越暗,原图与均值图像的差值图像和直方图像素个数均值 减 小， 标 准 差 减 小,生成图像叠加效果 对于两个图像f(x,y)和h(x,y)的均值有：g(x,y) = 1/2f(x,y) + 1/2h(x,y) 推广这个公式为：g(x,y) = f(x,y) + h(x,y)其中+= 1可以得到各种图像合成的效果，也可以用于 两张图片的衔接,代数运算加法,代数运算加法,减法的定义C(x,y) = A(x,y) - B(x,y)主要应用举例显示两幅图像的差异，检测同一场景两 幅图像之间的变化如：视频中镜头边界的检测去除不需要的叠加性图案图像分割：如分割运动的车辆，减法去 掉静止部分，剩余的是运动元素和噪声,代数运算减法, 检测同一场景两幅图像之间的变化,设：时间1的图像为T1(x,y)， 时间2的图像为T2(x,y)g(x,y) = T2(x,y) - T1(x,y)例：视频中镜头边界的检测(后面介绍),代数运算减法,去除不需要的叠加性图案设：背景图像 b(x,y) ，前景背景混合 图 像 f(x,y)g(x,y) = f(x,y) b(x,y)g(x,y) 为去除了背景的图像。,代数运算减法,代数运算减法,g(x,y),叠加蓝色背景,减去背景b(x,y),去除不需要的叠加性图案 例：电视制作的蓝屏技术问题？f(x,y),代数运算乘法乘法的定义C(x,y) = A(x,y) * B(x,y)主要应用举例图像的局部显示 用二值蒙板图像与原图像做乘法,代数运算乘法,非的定义g(x,y) = 255 - f(x,y)主要应用举例 获得一个阴图像 获得一个子图像的补图像,代数运算1、非,代数运算1、非获得一个阴图像,=,代数运算1、非获得一个子图像的补图像,与运算的定义g(x,y) = f(x,y) h(x,y)主要应用举例求两个子图像的相交子图,=,代数运算2、与,代数运算2、与模板运算：提取感兴趣的子图像,或运算的定义g(x,y) = f(x,y) v h(x,y)主要应用举例合并子图像,=,代数运算3、或,代数运算3、或模板运算：提取感兴趣的子图像,异或运算的定义g(x,y) = f(x,y) h(x,y)主要应用举例获得相交子图像,代数运算4、异或,=,直方图运算,直方图定义直方图均衡化,一个灰度级在范围0，L-1的数字图像的直 方图是一个离散函数h(rk)= nknk是图像中灰度级为rk的像素个数rk 是第k个灰度级，k = 0,1,2,L-1由于rk的增量是1，直方图可表示为：p(k)= nk 即，图像中不同灰度级像素出现的次数,直方图定义图像直方图的定义（1）,图像直方图的定义（2）一个灰度级在范围0，L-1的数字图像的直 方图是一个离散函数p(rk)= nk/nn 是图像的像素总数 nk是图像中灰度级为rk的像素个数rk 是第k个灰度级，k = 0,1,2,L-1,直方图定义,两种图像直方图定义的比较,其中，定义（2） 使函数值正则化到0,1区间，成为实数函 数 函数值的范围与象素的总数无关 给出灰度级rk在图像中出现的概率密度统计,直方图定义,图像直方图的定义举例p(rk),rk,直方图定义,灰度级rk,像素数目p(rk),直方图均衡化达到的效果,直方图应用举例直方图均衡化 希望一幅图像的像素占有全部可能的灰度级 且分布均匀，能够具有高对比度 使用的方法是灰度级变换：s = T(r) 基本思想是把原始图的直方图变换为均匀分 布的形式，这样就增加了像素灰度值的动态 范围，从而达到增强图像整体对比度的效果,直方图均衡化,直方图均衡化,0r1,s=T(r)T(r)满足下列两个条件：,（1）T(r)在区间0r1中为单值且单调递增（2）当0r1时,0T(r) 1条件（1）保证原图各灰度级在变换后仍保持从黑 到白（或从白到黑）的排列次序条件（2）保证变换前后灰度值动态范围的一致性,直方图均衡化Pr(r)是r的概率密度函数，Ps(s)是s的概 率密度函数，Pr(r)和T(r)已知，且T-1(s) 满足上述条件(1)，所以,ds,sr,Ps Pr dr,直方图均衡化,r,已知一种重要的变换函数：s T r 0 pr w dw,dsdTdrdr,r,r,r,pw dw pr ,dr,r d ,0,关于上限的定积分的导数就是该上限的积分值（莱布尼茨准则）,1, 1,pr ,pr ,dr,r,r,ps s pr r ds,直方图均衡化,n,对于离散值：pr,nk,rk,j,rj,kk,n,n,pr,s T r ,kj 0,j 0k0,1,2,L-1sk称作直方图均衡化,将输入图像中灰度级为rk（横坐标）的像素映射 到输出图像中灰度级为sk （横坐标）的对应像素 得到,已知变换函数的离散形式为：k,j,rj,n,n,p r ,sk Trk ,kj0,kj0,直方图均衡化,rk,s,k,应用镜头边界的检测,为什么要补充该部分知识？涉及两幅图像相减涉及直方图知识涉及两幅图像直方图的相减什么是镜头？镜头检测方法1连续帧相减镜头检测方法2连续帧的直方图相减镜头检测方法3时空切片分析,什么是镜头？,从视频的制造产生来看，视频由一个个镜头 (shot)所组成一个镜头是指一系列连续记录的图像帧，用于 表示一个时间段或相同地点连续的动作镜头由摄像机一次摄像的开始和结束所决定,什么是镜头？,检测到镜头及由镜头产生的关键帧，可以：提供基于关键帧的视频浏览提供基于内容的视频检索和查询计算机自动分析和总结，节省人力和时间使海量视频数据的管理和索引成为可能,镜头检测方法1连续帧相减,算法原理：计算相邻两帧像素变化的数目。当 超过设定的阈值时，即找到镜头的边界缺点：对摄像机运动敏感，如放缩、平移解决办法：通过滤波器的使用来降低。在比较 一帧的每个像素前，用它的邻近区域的平均值来代 替，这也过滤了输入图像的一些噪声,镜头检测方法2直方图相减算法原理：统计相邻两帧中所有像素在 不同灰度（颜色）上的分布差异，当差异 的累加值超过阈值T时，即检测到镜头边界（后面有算法的详细说明）优点：对对象运动不敏感，因为直方图 忽略了帧内的空间变化 缺点：可能两个图像有类似的直方图但 却是完全不同的内容。然而，这种事件的 概率是足够低,镜头检测方法2直方图相减,（1）首先计算相邻两帧颜色分布差值的均值和方差,镜头检测方法2直方图相减,参考文献：H.J.Zhang,A.Kankanhalli,and S.W.Smoliar, “Automatic Partitioning of Full-Motion Video”. ACM Multimedia System,Apr.1993.,镜头检测方法3时空切片分析,什么是时空切片spatio-temporal slices？,镜头检测方法3时空切片分析,颜色和纹理的不连续，表明镜头边界的出现,镜头检测方法3时空切片分析纹理的方向表明摄像机和对象的不同运动,镜头检测方法3时空切片分析,参考文献：C.W.Ngo,T.C.Pong,and R.T.Chin. “Video Partitioning by Temporal Slice Coherency”. IEEE Transactions on Circuits and Systems for Video Technology, Aug.2001.,空间域图像增强,基础知识基本概念点运算代数运算直方图运算应用镜头边界的检测空间滤波器平滑空间滤波器锐化空间滤波器,空间滤波器空间滤波和空间滤波器的定义 使用空间模板进行的图像处理，被称为空间滤波。模板本身被称为空间滤波 器,空间滤波和空间滤波器的定义,在 MN 的图像f上，使用 mn 的滤波器：,ab,gx, y ws, t f x s, y t sat b,其中，m=2a+1,n=2b+1, w(s,t)是滤波器系数，f(x,y)是图像值,空间滤波的简化形式：,mn,R w1z1 w2z2 .wmnzmn wi zii1其中，w是滤波器系数，z是与该系数对应的图 像灰度值，mn为滤波器中包含的像素点总数,平滑空间滤波器的作用,模糊处理:去除图像中一些不重要的细节减小噪声平滑空间滤波器的分类线性滤波器：均值滤波器非线性滤波器最大值滤波器中值滤波器最小值滤波器,线性滤波器包含在滤波器邻域内像素的平均值，也 称为均值滤波器作用减小图像灰度的“尖锐”变化，减小噪 声由于图像边缘是由图像灰度尖锐变化 引起的，所以也存在边缘模糊的问题,线性滤波器,ab,ab,ws, t sat b,ws, t f x s, y t ,gx, y sat b,a,b,图a是标准的像素平均值 图b是像素的加权平均，表明一些像素更为重要,线性滤波器例1,原图,3 x 3,5 x 5,9 x 9,15 x 15,35 x 35,线性滤波器例2,原图,15 x 15,阈值25 x b图像的最高亮度,提取感兴趣物体而模糊图像,什么是统计排序滤波器？是一种非线性滤波器基于滤波器所在图像区域中像素的排序，由 排序结果决定的值代替中心像素的值分类中值滤波器： 用像素领域内的中间值代替该像素最大值滤波器：用像素领域内的最大值代替该像素最小值滤波器：用像素领域内的最小值代替该像素,统计排序滤波器,中值滤波器 主要用途：去除噪声 计算公式：R = mid zk | k = 1,2,n最大值滤波器 主要用途：寻找最亮点 计算公式：R = max zk | k = 1,2,n最小值滤波器 主要用途：寻找最暗点 计算公式：R = min zk | k = 1,2,n,统计排序滤波器,中值滤波的原理 用模板区域内像素的中间值，作为结果值R = mid zk| k = 1,2,n 强迫突出的亮点（暗点）更象它周围的值， 以消除孤立的亮点（暗点）,中值滤波器, 中值滤波算法的实现 将模板区域内的像素排序，求出中间值例如：3x3的模板，第5大的是中值， 5x5的模板，第13大的是中值，7x7的模板，第25大的是中值，9x9的模板，第41大的是中值。 对于同值像素，连续排列。如（10,15,20,20,20,20,20,25,100）,中值滤波器,中值滤波器 中值滤波算法的特点在去除噪音的同时，可以比较好地保留边的锐度和图像的细节（优于均值 滤波器）能够有效去除脉冲噪声：以黑白点叠加在图像上,中值滤波器,原图,3x3均值滤波,3x3中值滤波,最大值滤波器,最小值滤波器,锐化滤波器,锐化滤波器的主要用途 突出图像中的细节，增强被模糊了的细节 印刷中的细微层次强调。弥补扫描对图像的 钝化 超声探测成像，分辨率低，边缘模糊，通过 锐化来改善 图像识别中，分割前的边缘提取 锐化处理恢复过度钝化、暴光不足的图像 尖端武器的目标识别、定位, 微分滤波器的原理 均值产生钝化的效果，而均值与积分相 似，由此而联想到，微分能不能产生相反 的效果，即锐化的效果？结论是肯定的。 在图像处理中应用微分最常用的方法是计 算梯度。函数f(x,y)在(x,y)处的梯度为 一个向量：,锐化滤波器, y, f, x, f, G, G, f,y ,x,锐化滤波器, 锐化滤波器的分类 二阶微分滤波器拉普拉斯算子, 一阶微分滤波器梯度算子,拉普拉斯算子图像函数的拉普拉斯变换定义为,22,f f,x2y2,2 f ,2,ff x 1, y f x 1, y 2 f x, y,x2,2,f f x, y 1 f x, y 12 f x, y,y22 f f x1, y f x1, y f x, y1 f x, y14f x, y,拉普拉斯算子,f(x-1,y) f(x,y) f(x+1,y),f(x,y+1),f(x,y-1),f(x-1,y+1),f(x+1,y+1),f(x-1,y-1),f(x+1,y-1),拉普拉斯算子拉普拉斯变换对图像增强的基本方法,gx, y , f x, y 2 f x, y, f x, y 2 f x, y,(1),(2),(1)用于拉普拉斯模板中心系数为负 (1)用于拉普拉斯模板中心系数为正,拉普拉斯算子例,原图:月球北极,标 定 的 图 像,原始图像拉普拉 斯的结果,拉普拉斯滤波后的图像33，中 心点为8 的掩膜,拉普拉斯算子gx, y f x, y 2 f x, y f x, yf x1, y f x1,y f x,y1 f x,y14f x, y 5f x, yf x1, y f x1, y f x, y 1 f x, y 1gx, y f x, y 2 f x, y f x, yf x1, y f x1, y f x, y1 f x, y14f x, yf x1, y f x1, y f x, y 1 f x, y 13f x, y,拉普拉斯算子例,原图,ab,a 滤 波,b,比 a,滤 更 波 锐化, , y , f, x ,梯度算子梯度通过一个二维列向量来定义 f, f,G y ,G x ,向量的模值 f mag f ,12,2,1,2,2, , y, f, x, f,G,G,2y,2x, 考虑一个3x3的图像区域，z代表 灰度级，上式在点z5的f值可用 数字方式近似。,用（z6 用（z8,z5）近似z5）近似，,f,f mag,z5z6,z1z2z3,z7z8z9,z4,梯度算子,f,G xx,G,y,组合为：y,f,2,1,2,5,8,5,6, z2 z z,f z,f |z6 z5| + |z8,z5|,另外一种计算方法是使用交叉差：,f (z9 z5)2 + (z8,z6)21/2,|z9 z5| + |z8 z6|,2,1,2,2y, fGGx,z1z2z3,z7z8z9,z4z5z6,梯度算子 向量模值的近似计算用绝对值替换平方和平方根有：,G xG y 微分过滤器的原理, 微分滤波器模板系数设计Roberts交叉梯度算子,Prewitt梯度算子Sobel梯度算子,梯度算子,Roberts交叉梯度算子f |z9- z5| + |z8z6|,2,zz,3,z,1,z7z8z9梯度计算由两个模板组成，第一个求得梯度的第一项，第二个求得梯度的 第二项，然后求和，得到梯度。两个模板称为Roberts交叉梯度算子,z4z5z6,微分滤波器模板系数设计, Prewitt梯度算子3x3的梯度模板f |(z7+z8 + z9) - (z1 + z2 + z3) | +|(z3+z6 + z9) - (z1 + z4 + z7) |,微分滤波器模板系数设计, Sobel梯度算子3x3的梯度模板,f |(z7|(z3,+2z8 + z9)+2z6 + z9),- (z1 + 2z2 + z3) | +- (z1 + 2z4 + z7) |,微分滤波器模板系数设计,数字图像处理（2）,任何问题？,研究生课程,数字图像处理 Digital Image Processing,彭宇新 北京大学计算机科学技术研究所 E_mail:,彩色图像处理彩色基础知识彩色空间伪彩色处理全彩色图像处理彩色变换彩色图像平滑和尖锐化,彩色图像基础,为什么要研究彩色图像处理？符合人类视觉特点人类可以辨别几千种颜色色调和亮度只能辨别几十种灰度层次有用的描绘子简化目标物的区分目标识别：根据目标的颜色特征,彩色图像基础,彩色图像处理可分为：全彩色处理数码相机数码摄像机彩色扫描仪伪彩色处理对不同的灰度或灰度范围赋予不同的颜色,彩色图像