《图像工程第2版上册图像处理》章毓晋.ppt

章毓晋(TH-EE-IE),第1章 绪论,1.1图象基本概念 1.2图象工程简介1.3图象处理系统1.4主要内容和安排,章毓晋(TH-EE-IE),1.1图象基本概念,1.1.1图象和数字图象1.1.2图象的表达,章毓晋(TH-EE-IE),1.1.1 图象和数字图象,图象：用各种观测系统以不同形式和手段观测客观世界而获得的，可以直接或间接作用于人眼并进而产生视知觉的实体图象（广义/抽象）图像（狭义/具体）图象和信息：人类从外界（客观世界）获得的信息约有75%来自视觉系统,章毓晋(TH-EE-IE),1.1.1 图象和数字图象,图象类型广义图片，动画，绘图，文字/档，.狭义单幅 序列图象，.静止 运动图象（视频），.2-D 3-D，彩色，立体对，多光谱,多视场图象，.灰度 深度，纹理图象，.,章毓晋(TH-EE-IE),1.1.2 图象的表达,图象表示2-D数组f(x,y)x，y：2-D空间XY中坐标点的位置f：代表图象在(x,y)的性质F 的数值f，x，y 的值可以是任意实数性质F:可对应不同物理量 灰度图象里用灰度表示,章毓晋(TH-EE-IE),1.1.2 图象的表达,图象表示 矩阵 矢量,章毓晋(TH-EE-IE),1.1.2 图象的表达,章毓晋(TH-EE-IE),1.2图象工程简介,1.2.1图象技术和图象工程1.2.2图象工程的三个层次1.2.3图象工程相关学科和领域1.2.4图象工程的技术应用1.2.5图象工程文献统计分类,章毓晋(TH-EE-IE),1.2.1 图象技术和图象工程,图象技术图象技术在广义上是各种与图象有关的技术的总称主要功能/作用包括：对图象的各种加工（见下）基于加工结果的判断决策和行为规划为此进行的硬件设计及制作,章毓晋(TH-EE-IE),1.2.2 图象工程的三个层次,图象工程：不同层次图象技术的有机结合及应用图象工程三层次：图象处理（图象 图象）图象分析（图象 数据）图象理解（图象 解释）,章毓晋(TH-EE-IE),1.2.2 图象工程的三个层次,章毓晋(TH-EE-IE),1.2.3 图象工程相关学科和领域,章毓晋(TH-EE-IE),1.2.3 图象工程相关学科和领域,主要相关学科：图形学：原指用图形、图表、绘图等形式表达数据信息的科学，而计算机图形学研究的就是如何利用计算机技术来产生这些形式图象模式识别：试图把图象分解成可用符号较抽象地描述的类别计算机视觉：主要强调用计算机实现人的视觉功能，目前的研究内容主要与图象理解相结合,章毓晋(TH-EE-IE),1.2.4 图象工程的技术应用,应用领域示例(1)视频通信：可视电话，电视会议，按需电视，远程教育；(2)文字档案：文字识别，过期档案复原，邮件分捡，支票，签名 辫伪，办公自动化；(3)生物医学：红白学球计数，染色体分析、X光、CT、MRI、PET图象分析，医学手术模拟规划，远程医疗；(4)遥感测绘：巡航导弹制导，无人驾驶飞机飞行，精确制导，矿 藏勘探，资源探测，气象预报，自然灾害监测；(5)工业生产：工业检测，工业探伤，自动生产流水线监控，移动 机器人，无损探测，金相分析，印刷板质量检验，精细印刷品缺陷检测；(6)军事公安：雷达图象分析、巡航导弹路径规划/制导，罪犯脸 形合成、识别，指纹、印章的鉴定识别；(7)交通管理：太空探测、航天飞行、公路交通管理。,章毓晋(TH-EE-IE),1.2.5 图象工程文献统计分类,中国图象工程综述（中国图象图形学报,5月期）文献统计分类 共统计15种刊物 已进行10年（1996-2005）涉及到18819篇论文 选取了4032篇论文,章毓晋(TH-EE-IE),1.2.5 图象工程文献统计分类,图象工程期刊（1）CT：CT理论与应用研究（2）CX：测绘学报（3）DC：电子测量与仪器学报（4）DK：电子科学学刊（5）DX：电子学报（6）JX：计算机学报（7）MR：模式识别与人工智能（8）SC：数据采集与处理（9）TX：通信学报（10）XC：信号处理（11）YX：遥感学报（12）ZS：中国生物医学工程学报（13）Zti：中国体视学和图象分析（14）Ztu：中国图象图形学报（15）ZX：自动化学报,章毓晋(TH-EE-IE),1.2.5 图象工程文献统计分类,章毓晋(TH-EE-IE),1.2.5 图象工程文献统计分类,章毓晋(TH-EE-IE),1.3图象处理系统,1.3.1系统构成框图 1.3.2图象采集 1.3.3图象显示打印 1.3.4图象存储 1.3.5图象处理,章毓晋(TH-EE-IE),1.3.1 系统构成框图,章毓晋(TH-EE-IE),1.3.2 图象采集,图象采集装置 为采集数字图象，需要两种装置（器件）：(1)对某个电磁能量谱波段（如X射线、紫外线、可见光、红外线等）敏感的物理器件，它能产生与所接受到的电磁能量成正比的（模拟）电信号；(2)数字化器，它能将上述（模拟）电信号转化为数字（离散）的形式。,章毓晋(TH-EE-IE),1.3.3 图象显示打印,图象显示图象处理的结果多是供观察的图象数据 亮度模式显示显示设备电视显示器，液晶显示器阴极射线管（CRT)打印设备转换到幻灯片、照片或透明胶片上,章毓晋(TH-EE-IE),1.3.3 图象显示打印,半调（halptone）输出 多数打印设备仅能直接显示输出二值图半调技术：利用人眼的集成特性，通过控制二值点模式的形式（包括数量，尺寸，形状等）来获得视觉上不同的灰度感觉一种将灰度图象转化为二值图象的技术输出二值图象，看到灰度图象,章毓晋(TH-EE-IE),1.3.3 图象显示打印,幅度调制（AM）通过调整输出黑点的尺寸来显示不同的灰度例如，早期报纸上的图片在每个空间位置打印一个其尺寸反比于该处灰度的黑圆点二值点是规则的排成网格的点点的形状并不是决定性的因素,章毓晋(TH-EE-IE),1.3.3 图象显示打印,频率调制（FM）输出黑点的尺寸是固定的其在空间的分布（点间的间隔或一定区域内点出现的频率）取决于所需表示的灰度 缺点：点增益（打印单元尺寸相对于原始单元尺寸的增加量）增加导致打印图灰度范围的减少或压缩,章毓晋(TH-EE-IE),1.3.3 图象显示打印,调制模板 每个输出单元内包含若干个基本二值点每个模板对应一个输出单元 2 2 5 种灰度,章毓晋(TH-EE-IE),1.3.3 图象显示打印,调制模板 3 3 10 种灰度,章毓晋(TH-EE-IE),1.3.3 图象显示打印,抖动（dithering）输出技术利用随机变化-2(6-b)-2(5-b)f(x,y)+0 2(5-b)2(6-b),半调技术 牺牲图象的空间点数而增加图象的灰度级数 要保持细节，灰度级数就有限,章毓晋(TH-EE-IE),1.3.4 图象存储,图象存储数据量度单位比特（bit），字节（byte=8 bit）千字节（K byte）兆（10 6）字节（M byte）吉（10 9）字节（G byte）太（10 12）字节（T byte）,章毓晋(TH-EE-IE),1.3.4 图象存储,图象存储器(1)处理过程中使用的快速存储器计算机内存，帧缓存(2)较快重新调用的在线或联机存储器磁盘，磁光盘(3)不经常使用的数据库（档案库）存储器磁带，光盘，光盘塔,章毓晋(TH-EE-IE),1.3.4 图象存储,格式（表示格式和文件格式）(1)矢量格式 用线段或线段的组合体来表示图象(2)光栅格式 用许多图象点的集合来表示图象BMP格式，GIF格式，TIFF格式，JPEG 格式,章毓晋(TH-EE-IE),1.3.5 图象处理,图象处理对图象的增强以改善图象视觉质量对退化图象的恢复以消除各种干扰的影响根据对场景的多个投影来重建场景的图象对图象进行编码以减少表达图象的数据量，从而有利于存储和传输给图象加入数字水印以保护图象的所有权,章毓晋(TH-EE-IE),课 程 介 绍,授课进度和安排 小测验 小测验,章毓晋(TH-EE-IE),课 程 介 绍,总结和复习1.各节小结和文献介绍 每节主要内容的概况进一步深入学习的参考（近200篇文献）2.思考题和练习题共260个，对其中137个提供了参考答案,章毓晋(TH-EE-IE),第2章 图象采集,2.1视觉过程2.2成象中的空间关系 2.3光度学和亮度视觉2.4 采样和量化,章毓晋(TH-EE-IE),2.1视觉过程,1光学过程,15/100=2.55/17,章毓晋(TH-EE-IE),2.1视觉过程,2化学过程 锥细胞和柱细胞：锥细胞：数量少，对颜色很敏感锥细胞视觉：明视觉或亮光视觉柱细胞：数量多，分辨率比较低 不感受颜色并对低照度较敏感柱细胞视觉：暗视觉或微光视觉,章毓晋(TH-EE-IE),2.1视觉过程,3神经处理过程 每个视网膜接收单元都与一个神经元细胞借助突触（synapse）相连每个神经元细胞借助其它的突触与其它细胞连接，从而构成光神经（optical nerve）网络光神经进一步与大脑中的侧区域（side region of the brain）连接，并到达大脑中的纹状皮层（striated cortex）对光刺激产生的响应经过一系列处理最终形成关于场景的表象，从而将对光的感觉转化为对景物的知觉,章毓晋(TH-EE-IE),2.1视觉过程,整体视觉过程视觉“视”“觉”,章毓晋(TH-EE-IE),2.2成象中的空间关系,2.2.1成象几何2.2.2观察距离和角度2.2.3景深,章毓晋(TH-EE-IE),2.2.1 成象几何,1、投影变换将3-D客观场景投影到2-D图象平面成象过程三个坐标系统：世界坐标系统 XYZ 摄象机坐标系统 xyz图象平面 xy从 XYZ 到 xyz，从 xyz 到 xy,章毓晋(TH-EE-IE),2.2.1 成象几何,三个坐标系统,章毓晋(TH-EE-IE),2.2.1 成象几何,透视变换3-D点投影后的图象平面坐标非线性投影等式（分母含变量Z）,章毓晋(TH-EE-IE),2.2.1 成象几何,2、齐次坐标可用来将前述非线性（分母中含变量Z）等式表示成线性矩阵形式例：直线方程ax+by+c=0一条直线也可用矢量l=a,b,cT来表示当k不为零时，矢量a,b,cT和矢量ka,b,cT表示同一条直线,章毓晋(TH-EE-IE),2.2.1 成象几何,齐次坐标笛卡尔坐标：齐次坐标：k 为任意非零常数齐次坐标 笛卡尔坐标：用第4个坐标量去除前3个坐标量,章毓晋(TH-EE-IE),2.2.1 成象几何,齐次坐标用第4项分别去除前3个项,章毓晋(TH-EE-IE),逆投影变换点(x,y,0),Z=0：图象平面上一点对应连线上所有共线3-D点的集合,2.2.1 成象几何,章毓晋(TH-EE-IE),2.2.1 成象几何,逆投影变换要将1个3-D点的坐标从它的图象中完全恢复过来，需要对产生图象点的3-D空间点有一些先验知识（如知道它的Z坐标）,章毓晋(TH-EE-IE),2.2.2 观察距离和角度,正常人视力的角区分能力约为一分在观察感兴趣场景时，需要使其中最小的细节在眼睛的视场中对应一个约一分的弧所对应的角如果一个点在眼睛的视场中对应不到一分的弧所对应的角，则人观察不到这个点如果两个相邻点与眼睛间连线的夹角不到一分，则人分辨不出这两个点,章毓晋(TH-EE-IE),2.2.2 观察距离和角度,给定点尺寸：最远观察距离给定观察距离：能看见的最小点 最佳观察距离=3400*图象高度/显示线数,章毓晋(TH-EE-IE),2.2.3 景深,一定距离内目标清晰成象的范围,章毓晋(TH-EE-IE),2.2.3 景深,引入 f-因数（焦距 f 与光圈直径 2r 的比）景深 Z 作为 D（可允许的不清晰半径）的函数 景深 Z 与镜头的 f-因数成正比，而nf 的极限对应具有无穷景深的小孔相机,章毓晋(TH-EE-IE),2.2.3 景深,特殊情况 拍照：目标距离很远，do fdi f景深与焦距的平方成反比结果是小的焦距导致大的景深,章毓晋(TH-EE-IE),2.2.3 景深,特殊情况复制：目标-图象尺寸为1:1，do di 2f 景深现在不依赖于焦距，且与可允许的不清晰半径D有相同的量级只有很小的一个目标区可清晰成象,章毓晋(TH-EE-IE),2.2.3 景深,特殊情况显微成象：目标近，焦距小，do f，di f目标被放大了很多，但景深更小了例：当放大倍数为50，即di/do=50且nf=1，D为5 mm，得到的景深只有0.2 mm,章毓晋(TH-EE-IE),2.3光度学和亮度视觉,2.3.1 光度学2.3.2一个简单的成象模型2.3.3视觉系统对光的感知特点,章毓晋(TH-EE-IE),2.3.1 光度学,辐射度量学研究各种电磁辐射强弱的学科光是一种电磁辐射光度学研究光的强弱的学科光通量的单位：lm（流明）,章毓晋(TH-EE-IE),2.3.1 光度学,点光源线度足够小，或距离观察者足够远发光强度I：点光源沿某个方向上单位 立体角d内发出的光通量dF 单位：cd（坎）1 cd=1 lm/sr,章毓晋(TH-EE-IE),2.3.1 光度学,点光源立体角（solid angle）是从一点（称为立体角的顶点）出发通过一条闭合曲线上所有点的射线围成的空间部分，所以立体角表示由顶点看闭合曲线时的视角。可以取一立体角在以其顶点为球心所作的球面上截出部分的面积与球面半径的平方之比作为对该立体角的度量。立体角的单位是球面度，记为sr。一个球面度对应在球面上所截取的面积等于以球半径为边长的正方形面积时的立体角。,章毓晋(TH-EE-IE),2.3.1 光度学,扩展光源有一定发光面积的光源光度学亮度B(单位：cd/m2),章毓晋(TH-EE-IE),2.3.1 光度学,照度（illumination）一个被光线照射的表面上的照度定义为照射在单位面积上的光通量。设面元dS上的光通量为dF，则此面元上的照度E为：单位：lx（勒克斯），1 lx=1 lm/m2照度：是光源对物体辐射的一种量度 表亮度：观察者对物体表面光强的量度 表,章毓晋(TH-EE-IE),2.3.2 一个简单的成象模型,图象成象模型2-D亮度函数：f(x,y)亮度是能量的量度，一定不为零且为有限值(1)入射到可见场景上的光量(2)场景中目标对入射光反射的比率照度成分 i(x,y)和反射成分 r(x,y),章毓晋(TH-EE-IE),2.3.2 一个简单的成象模型,图象成象模型f(x,y)与 i(x,y)和 r(x,y)都成正比i(x,y)的值是由光源决定的r(x,y)的值是由场景中的目标特性所决定的典型值：P.40,章毓晋(TH-EE-IE),2.3.3 视觉系统对光的感知特点,人眼适应的亮度范围（1）总体范围大：从暗视觉门限到眩目极限之间的范围在1010量级（2）具体范围小：一般范围在102量级,暗视觉门限,眩目极限,章毓晋(TH-EE-IE),2.3光度学和亮度视觉,亮度变化的感知人类视觉系统对亮度变化的感知比对亮度本身要敏感 人类视觉系统对光强度的响应不是线性的，而是对数形式的（对暗光时亮度的增加比对亮光时亮度的增加更敏感）,章毓晋(TH-EE-IE),2.4采样和量化,2.4.1空间分辨率和幅度分辨率2.4.2图象质量与采样和量化2.4.3对采样和量化的讨论,章毓晋(TH-EE-IE),2.4.1 空间分辨率和幅度分辨率,数字图象图象（水平）尺寸 M：图象（垂直）尺寸 N：象素灰度级数 G(k-bit)：图象所需的位数 b：,章毓晋(TH-EE-IE),2.4.1 空间分辨率和幅度分辨率,数字图象存储1幅32 32，16个灰度级的图需要 4,096 bit存储1幅128 128，64个灰度级的图需要 98,304 bit存储1幅512 512，256个灰度级的图需要 2,097,152 bit,章毓晋(TH-EE-IE),2.4.2 图象质量与采样和量化,图象空间分辨率变化所产生的效果,章毓晋(TH-EE-IE),2.4.2 图象质量与采样和量化,图象幅度分辨率变化所产生的效果,章毓晋(TH-EE-IE),2.4.2 图象质量与采样和量化,空间和幅度分辨率同时变化所产生的效果,章毓晋(TH-EE-IE),第3章 象素空间关系,3.1象素间联系3.2基本坐标变换 3.3形态变换 3.4 几何失真校正,章毓晋(TH-EE-IE),3.1象素间联系,空间排列规律3.1.1 象素的邻域3.1.2象素间的邻接，连接和连通 3.1.3象素间的距离,章毓晋(TH-EE-IE),3.1.1 象素的邻域,象素的邻域4-邻域N4(p)：对角邻域ND(p)：8-邻域N8(p)：,章毓晋(TH-EE-IE),3.1.2 象素间的邻接，连接和连通,连接和连通（adjacency,邻接）vs.(connectivity,连接)邻接仅考虑象素间的空间关系 两个象素是否连接：(1)是否接触（邻接）(2)灰度值是否满足某个特定的相似准 则（同在一个灰度值集合中取值）,章毓晋(TH-EE-IE),3.1.2 象素间的邻接，连接和连通,3种连接(1)4-连接：2个象素 p 和 r 在V 中取值且 r 在N4(p)中(2)8-连接：2个象素 p 和 r 在V 中取值且 r 在N8(p)中,章毓晋(TH-EE-IE),3.1.2 象素间的邻接，连接和连通,3种连接(3)m-连接（混合连接）：2个象素 p 和 r 在V 中取值且满足下列条件之一 r 在N4(p)中 r 在ND(p)中且集合N4(p)N4(r)是空集（这个集合是由 p 和 r 的在V中取值的4-连接象素组成的）图3.1.2,章毓晋(TH-EE-IE),3.1.2 象素间的邻接，连接和连通,3种连接 混合连接的应用：消除8-连接可能产生的歧义性 原始图 8-连接 m-连接,章毓晋(TH-EE-IE),3.1.2 象素间的邻接，连接和连通,连通连接是连通的一种特例通路由一系列依次连接的象素组成从具有坐标(x,y)的象素p到具有坐标(s,t)的象素q的一条通路由一系列具有坐标(x0,y0)，(x1,y1)，(xn,yn)的独立象素组成。这里(x0,y0)=(x,y)，(xn,yn)=(s,t)，且(xi,yi)与(xi-1,yi-1)邻接，其中1 i n，n为通路长度 4-连通，8-连通 4-通路，8-通路,章毓晋(TH-EE-IE),3.1.2 象素间的邻接，连接和连通,象素集合的邻接和连通 对2个图象子集 S 和 T 来说，如果S中的一个或一些象素与 T 中的一个或一些象素邻接，则可以说2个图象子集S 和 T 是邻接的完全在一个图象子集中的象素组成的通路上的象素集合构成该图象子集中的一个连通组元如果 S 中只有1个连通组元，即 S 中所有象素都互相连通，则称 S 是一个连通集,章毓晋(TH-EE-IE),3.1.3 象素间的距离,距离量度函数例3.1.1 测度空间3个象素p，q，r，坐标(x,y)，(s,t)，(u,v)(1)两个象素之间的距离总是正的(2)距离与起终点的选择无关(3)最短距离是沿直线的,章毓晋(TH-EE-IE),3.1.3 象素间的距离,距离量度函数(1)欧氏（Euclidean）距离(2)城区（city-block）距离(3)棋盘（chessboard）距离,章毓晋(TH-EE-IE),3.1.3 象素间的距离,距离量度函数等距离轮廓图案 图3.1.4D4距离D8距离,章毓晋(TH-EE-IE),3.1.3 象素间的距离,距离量度函数距离计算示例DE=5 D4=7 D8=4,章毓晋(TH-EE-IE),3.1.3 象素间的距离,范数和距离,章毓晋(TH-EE-IE),3.1.3 象素间的距离,用距离定义邻域考虑在空间点(xp,yp)的象素 p4-邻域N4(p)8-邻域N8(p),章毓晋(TH-EE-IE),3.2基本坐标变换,3.2.1图象坐标变换 3.2.2坐标变换讨论,章毓晋(TH-EE-IE),3.2.1 图象坐标变换,坐标变换示例：平移变换,章毓晋(TH-EE-IE),3.2.1 图象坐标变换,平移变换的矩阵表达,章毓晋(TH-EE-IE),3.2.1 图象坐标变换,旋转变换（绕X轴，Y轴，Z轴）,章毓晋(TH-EE-IE),3.2.2 坐标变换讨论,变换级连对一个坐标为 v 的点的平移、放缩、绕 Z 轴旋转变换可表示为：用单个变换矩阵的方法可对点矩阵v 变换 这些矩阵的运算次序一般不可互换,章毓晋(TH-EE-IE),3.2.2 坐标变换讨论,变换的推广3-点映射变换：将一个三角形映射为另一个三角形，而将一个矩形映射为一个平行四边形 拉伸（stretch）和剪切（shearing）变换,章毓晋(TH-EE-IE),3.2.2 坐标变换讨论,坐标变换 反变换,章毓晋(TH-EE-IE),3.3形态变换,3.3.1变换体系3.3.2一般仿射变换3.3.3特殊仿射变换3.3.4变换的层次3.3.5仿射变换的另一种描述方案,章毓晋(TH-EE-IE),3.3.1 变换体系,形态变换将平面区域映射到平面区域(1)将一个组合区域映射为另一个组合区域(2)将单个区域映射为一个组合区域(3)将一个组合区域映射为单个区域分层分类 图3.3.1,章毓晋(TH-EE-IE),3.3.1 变换体系,投影变换仿射（affine）变换常看作是一种特殊的投影（projective）变换q=Hp,章毓晋(TH-EE-IE),3.3.1 变换体系,投影变换通用的非奇异齐次线性变换A是一个22的非奇异矩阵，t是一个21的矢量，而矢量v=v1,v2T 变换可用8个独立的参数表示一个投影变换共有8个自由度（degrees of freedom，dof），可根据4组点的对应性来计算,章毓晋(TH-EE-IE),3.3.2 一般仿射变换,仿射变换一个非奇异线性变换接上一个平移变换一个平面上的仿射变换有6个自由度,章毓晋(TH-EE-IE),3.3.2 一般仿射变换,仿射变换线性分量A可考虑成两个基本变换的组合：旋转和非各向同性放缩：,章毓晋(TH-EE-IE),3.3.2 一般仿射变换,仿射变换性质：(1)仿射变换将有限点映射为有限点(2)仿射变换将直线映射为直线(3)仿射变换将平行直线映射为平行直线(4)当区域P和Q是没有退化的三角形（即面积不为零），那么存在一个唯一的仿射变换A可将P映射为Q，即Q=A(P),章毓晋(TH-EE-IE),3.3.3 特殊仿射变换,1.相似变换s(0)表示各向同性放缩，R是一个特殊的2 2正交矩阵（RTR=RRT=I），对应这里的旋转。典型特例为纯旋转（此时t=0）和纯平移（此时R=I）,章毓晋(TH-EE-IE),3.3.3 特殊仿射变换,1.相似变换保形性（保持形状）或保角性 相似变换可以保持两条曲线在交点处的角度 平面上的相似变换有4个自由度，所以可根据2组点的对应性来计算（没有非各向同性放缩）,章毓晋(TH-EE-IE),3.3.3 特殊仿射变换,2.刚体变换刚体变换T能保持区域中两个点间的所有距离给定两个点p1,p2 P，距离d1,2=dist(p1,p2)，那么必有distT(p1),T(p2)=d1,2 相似变换中的 s=1,章毓晋(TH-EE-IE),3.3.3 特殊仿射变换,3.欧氏变换欧氏变换可表达刚体的运动（平移和旋转的组合）。一个欧氏运动是先旋转（可看作特殊的正交变换）后平移的组合所有区域都可以认为是全等的,章毓晋(TH-EE-IE),3.3.3 特殊仿射变换,4.等距变换刚体变换和欧氏变换可集合在等距变换之下等距（isometry）指在2-D空间保持欧氏距离（iso表示相同，metric表示测度）e=1，那么等距还能保持朝向且是欧氏变换。e=1，将反转朝向，即变换矩阵相当于一个镜像与一个欧氏变换的组合,章毓晋(TH-EE-IE),3.3.4 变换的层次,平行的直线变 成会聚的直线 圆环变成椭圆 平行或垂直的 直线仍具有相 同的相对朝向 圆环和正方形 都不变化形状,仿射变换,相似变换,章毓晋(TH-EE-IE),3.4几何失真校正,空间变换对图象平面上的象素进行重新排列以恢复原空间关系 灰度插值对空间变换后的象素赋予相应的灰度值以恢复原位置的灰度值,章毓晋(TH-EE-IE),模型图象f(x,y)受几何形变的影响变成失真图象 g(x,y)线性失真（非线性）二次失真,3.4.1 空间变换,章毓晋(TH-EE-IE),约束对应点方法在输入图（失真图）和输出图（校正图）上找一些其位置确切知道的点，然后利用这些点建立两幅图间其它点空间位置的对应关系 选取四边形顶点四组对应点解八个系数,3.4.1 空间变换,g(x,y),章毓晋(TH-EE-IE),用整数处的象素值来计算在非整数处的象素值(x,y)总是整数，但(x,y)值可能不是整数 最近邻插值 也常称为零阶插值 将离(x,y)点最近的象素的灰度值作为(x,y)点的灰度值赋给原图(x,y)处象素,3.4.2 灰度插值,章毓晋(TH-EE-IE),前向映射 一个失真图的象素映射到不失真图的四个象素之间最后灰度是由许多失真图象素的贡献之和决定,3.4.2 灰度插值,章毓晋(TH-EE-IE),后向映射 实际失真图中四个象素之间的位置对应不失真图的某个象素，则先根据插值算法计算出该位置的灰度，再将其映射给不失真图的对应象素,3.4.2 灰度插值,章毓晋(TH-EE-IE),双线性插值 利用(x,y)点的四个最近邻象素A、B、C、D，灰度值分别为g(A)、g(B)、g(C)、g(D),3.4.2 灰度插值,章毓晋(TH-EE-IE),第4章 空域增强技术,4.1空域技术分类4.2象素间运算4.3直接灰度映射4.4 直方图变换4.5线性滤波4.6 非线性滤波4.7 局部增强,章毓晋(TH-EE-IE),图象增强目标：改善图象质量/改善视觉效果标准：相当主观，因人而异 没有完全通用的标准 可以有一些相对一致的准则技术：“好”，“有用”的含义不相同 具体增强技术也可以大不相同,第4章 空域增强技术,章毓晋(TH-EE-IE),4.1空域技术分类,空域：指由象素组成的空间 空域增强：点操作：灰度点操作几何操作,章毓晋(TH-EE-IE),4.1空域技术分类,点操作：(1)借助对一系列图象间的操作进行变换(2)将f()中的每个象素按EH操作直接变换以得到g()；(3)借助f()的直方图进行变换模板操作：,章毓晋(TH-EE-IE),4.2图象间运算,图象间的运算指以图象为单位进行的操作，运算的结果是一幅新图象 4.2.1 算术和逻辑运算4.2.2 图象间运算的应用,章毓晋(TH-EE-IE),4.2.1 算术和逻辑运算,1.算术运算(1)加法：记为p+q(2)减法：记为p q(3)乘法：记为p q(4)除法：记为pq 对整幅图象的算术和逻辑运算是逐象素进行的，即在两幅图象的对应（位置）象素间进行,章毓晋(TH-EE-IE),4.2.1 算术和逻辑运算,2.逻辑运算(1)补（COMPLEMENT）：记为NOT q(2)与（AND）：记为p AND q(3)或（OR）：记为p OR q(4)异或（XOR）：记为p XOR q图，图4.2.2,章毓晋(TH-EE-IE),4.2.2 图象间运算的应用,1.图象间加法的应用 模型 运算 均值 方差,章毓晋(TH-EE-IE),4.3直接灰度映射,将 f(x,y)中的每个象素灰度按EH 操作直接变换以得到g(x,y)4.3.1 灰度映射原理 4.3.2 典型灰度映射,章毓晋(TH-EE-IE),4.3.1 灰度映射原理,直接灰度映射是一种点操作,章毓晋(TH-EE-IE),1、图象求反2、增强对比度3、动态范围压缩4、灰度切分,4.3.2 典型灰度映射,章毓晋(TH-EE-IE),4.4直方图变换,直方图是图象的一种统计表达 直方图反映了图中灰度的分布情况4.4.1 直方图均衡化 4.4.2 直方图规定化,章毓晋(TH-EE-IE),灰度统计直方图1-D的离散函数提供了图象象素的灰度值分布情况计算：设置一个有 L 个元素的数组，对原图的灰度值进行统计,4.4.1 直方图均衡化,章毓晋(TH-EE-IE),直方图均衡化借助直方图变换实现（归一的）灰度映射均衡化（线性化）基本思想变换原始图象的直方图为均匀分布=大动态范围使象素灰度值的动态范围最大=增强图象整体对比度（反差）,4.4.1 直方图均衡化,章毓晋(TH-EE-IE),归一化直方图增强函数(1)EH(s)：单值单增函数，各灰度级在变换后仍保持排列次序(2)变换前后灰度值动态范围一致,4.4.1 直方图均衡化,章毓晋(TH-EE-IE),（归一化）累积直方图(1)tk 是 k 的单值单增函数(2)灰度取值范围一致，0 tk 1(3)将s的分布转换为t 的均匀分布,4.4.1 直方图均衡化,表4.4.1,章毓晋(TH-EE-IE),4.4.1 直方图均衡化,章毓晋(TH-EE-IE),借助直方图变换实现规定/特定的灰度映射(1)对原始直方图进行灰度均衡化(2)规定需要的直方图，计算能使规定直方图均衡化的变换(3)将原始直方图对应映射到规定直方图,4.4.2 直方图规定化,三个步骤,章毓晋(TH-EE-IE),两种映射/对应规则(1)单映射规则(2)组映射规则（I(l)：整数函数）,4.4.2 直方图规定化,表4.4.2,章毓晋(TH-EE-IE),4.4.2 直方图规定化,章毓晋(TH-EE-IE),映射误差对应映射间数值的差值（取绝对值）的和单映射规则：最大误差 pu(uj)/2组映射规则：最大误差 ps(si)/2N M，ps(si)/2 pu(uj)/2单映射规则：有偏的映射规则组映射规则：统计无偏的映射规则,4.4.2 直方图规定化,章毓晋(TH-EE-IE),直方图规定化 vs.直方图均衡化直方图均衡化：自动增强 效果不易控制 总得到全图增强的结果直方图规定化：有选择地增强 须给定需要的直方图 可特定增强的结果,4.4.2 直方图规定化,章毓晋(TH-EE-IE),4.5线性滤波,利用象素本身以及其邻域象素的灰度关系进行增强的方法常称为滤波 4.5.1 技术分类和实现原理模板卷积，邻域操作4.5.2 线性平滑滤波器 减弱或消除图象中的噪声,章毓晋(TH-EE-IE),4.5.1 技术分类和实现原理,在图象空间借助模板进行邻域操作分类1：(1)线性：如邻域平均(2)非线性：如中值滤波分类2：(1)平滑：模糊，消除噪声(2)锐化：增强被模糊的细节,章毓晋(TH-EE-IE),滤波器实现 邻域运算：,4.5.1 技术分类和实现原理,章毓晋(TH-EE-IE),1、邻域平均系数都是正的保持灰度值范围（所有系数之和为1）例：3 3 模板,4.5.2 线性平滑滤波器,图4.5.2,章毓晋(TH-EE-IE),2、加权平均中心系数大周围系数小,4.5.2 线性平滑滤波器,章毓晋(TH-EE-IE),4.6 非线性滤波,逻辑的、几何的、代数的非线性滤波器基于集合的、基于形状的、基于排序的 4.6.1 非线性平滑滤波器4.6.2 非线性锐化滤波器,章毓晋(TH-EE-IE),4.6.1 非线性平滑滤波器,既消除噪声又保持细节（不模糊）中值（median）滤波器(1)将模板中心与象素位置重合(2)读取模板下各对应象素的灰度值(3)将这些灰度值从小到大排成1列(4)找出这些值里排在中间的1个(5)将这个中间值赋给模板中心位置象素,图4.6.1,章毓晋(TH-EE-IE),中值（median）滤波器的模板中值滤波器的消噪声效果与两个不同的，但又有联系的因素有关。首先是模板的尺寸，其次是参与运算的象素数图象中尺寸小于模板尺寸一半的过亮或过暗区域将会在滤波后会被消除掉,4.6.1 非线性平滑滤波器,章毓晋(TH-EE-IE),百分比（percentile）滤波器中值滤波器是一个特例最大值最小值中点滤波器,4.6.1 非线性平滑滤波器,章毓晋(TH-EE-IE),1、非线性锐化滤波器利用微分可以锐化图象（积分平滑图象）梯度：对应一阶导数 最常用的微分矢量（需要用2个模板分别沿 X和 Y 方向计算）,4.6.2 非线性锐化滤波器,章毓晋(TH-EE-IE),1、非线性锐化滤波器模以2为范数/模计算（对应欧氏距离）以1为范数（城区距离）以为范数（棋盘距离）,4.6.2 非线性锐化滤波器,章毓晋(TH-EE-IE),3、最大-最小锐化变换 将最大值滤波器和最小值滤波器结合使用可以锐化模糊的边缘并让模糊的目标清晰起来迭代实现：,4.6.2 非线性锐化滤波器,章毓晋(TH-EE-IE),4.7 局部增强,全局增强 vs.局部增强局部增强多了一个选择局部区域的步骤直接利用局部信息以达到局部增强的目的利用每个象素的邻域内象素的均值和方差 局部增益函数,图4.7.1,章毓晋(TH-EE-IE),第5章 图象变换基础,为了有效和快速地对图象进行处理，常常 需要将原定义在图象空间的图象以某种形式转换到另外一些空间，并利用在这些空间的特有性质方便地进行一定的加工，最后再转换回图象空间以得到所需的效果。这些转换方法就是本章要着重介绍和讨论的图象变换技术 变换是双向的，或者说需要双向的变换。在图象处理中，一般将从图象空间向其他空间的变换称为正变换，而将从其他空间向图象空间的变换称为反变换或逆变换,章毓晋(TH-EE-IE),第5章 图象变换基础,5.1可分离和正交图象变换5.2傅里叶变换 5.3沃尔什/哈达玛变换 5.4离散余弦变换5.5Radon变换,章毓晋(TH-EE-IE),5.1 可分离和正交图象变换,1-D可分离变换正变换反变换,正向变换核,反向变换核,章毓晋(TH-EE-IE),5.1 可分离和正交图象变换,2-D可分离变换（傅里叶变换是一个例子）,反向变换核,正向变换核,变换核与原始函数及变换后函数无关,章毓晋(TH-EE-IE),可分离1个2-D变换分成2个1-D变换对称(h1与h2的函数形式一样),5.1 可分离和正交图象变换,章毓晋(TH-EE-IE),可分离且对称,图象矩阵,对称变换矩阵,反变换矩阵,变换结果,5.1 可分离和正交图象变换,反变换,章毓晋(TH-EE-IE),正交考虑变换矩阵：酉矩阵（*代表共轭）：如果A为实矩阵，且：则A为正交矩阵，式(5.1.3)和式(5.1.4)构成正交变换对,5.1 可分离和正交图象变换,章毓晋(TH-EE-IE),5.2傅里叶变换,5.2.1 2-D傅里叶变换 5.2.2 傅里叶变换定理 5.2.3 快速傅里叶变换,章毓晋(TH-EE-IE),5.2.1 2-D傅里叶变换,1-D正变换对1个连续函数 f(x)等间隔采样,章毓晋(TH-EE-IE),5.2.1 2-D傅里叶变换,1-D反变换 变换表达频谱（幅度）相位角,章毓晋(TH-EE-IE),5.2.1 2-D傅里叶变换,变换对公式频谱（幅度）相位角功率谱,章毓晋(TH-EE-IE),5.2.2 傅里叶变换定理,分离性质 1次2-D 2次1-D O(N 4)减为O(N 2),章毓晋(TH-EE-IE),1、平移定理,5.2.2 傅里叶变换定理,章毓晋(TH-EE-IE),4、剪切定理（水平方向）纯剪切（垂直方向）纯剪切,5.2.2 傅里叶变换定理,章毓晋(TH-EE-IE),5、组合剪切定理平移旋转尺度 水平剪切 垂直剪切,5.2.2 傅里叶变换定理,章毓晋(TH-EE-IE),6、仿射定理u=(eu dv)/D和v=(bu+av)/D,5.2.2 傅里叶变换定理,章毓晋(TH-EE-IE),7、卷积定理 2-D,5.2.2 傅里叶变换定理,章毓晋(TH-EE-IE),8、相关定理互相关：f(x)g(x)自相关：f(x)=g(x)2-D,5.2.2 傅里叶变换定理,章毓晋(TH-EE-IE),5.2.3 快速傅里叶变换,直接进行一个N N的2-D傅里叶变换需要N4次复数乘法运算和N2(N2 1)次复数加法运算1-D：复数乘法和加法的次数都正比于N2 快速傅里叶变换（FFT）：将复数乘法和加法的次数减少为正比于N log2N 逐次加倍法：复数乘法次数由N2减少为(N log