肖志涛基于相位信息的图像处理ppt课件.ppt

《肖志涛基于相位信息的图像处理ppt课件.ppt》由会员分享，可在线阅读，更多相关《肖志涛基于相位信息的图像处理ppt课件.ppt（91页珍藏版）》请在三一办公上搜索。

1、基于相位信息的图像处理Image Processing Based on Phase Information 肖志涛天津工业大学电子与信息工程学院2014-10-17,基于相位信息的图像处理纺织领域中的图像处理技术基于单目视觉的汽车安全预警技术DR眼底图像处理,目 录,1.基于相位信息的图像处理,图像边缘和其它低层特征的检测长期以来一直被认为是重要的基本运算。图像特征检测是图像处理、模式识别、基于内容的图像检索等领域的关键技术。 图像分析归根结底是要为人服务的，自然应该使用与人类视觉系统认知一致的计算机制。,受到天气以及采集距离的影响，原始图像的质量一般会较差，含有较强的噪声，对比度、亮度较差

2、，目标尺寸变化较大。 基于图像灰度或梯度信息的处理方法，一般首先要对图像进行滤波来去除噪声，但是一般的滤波方法对于乘性噪声的滤除效果较差，而且这样的滤波可能会改变图像的结构，埋没掉图像中本来存在的小目标(特征)，或者改变图像中目标的位置，这些都是图像分析系统所不能容忍的。而利用相位信息进行处理时，这里的许多问题都可以得到很好的解决。 图像包括幅度和相位两种信息。相对于幅度（灰度/梯度）信息，相位信息在人类视觉感知系统中有非常重要的作用。相位信息有很多优良特性，稳定性高，符合人类视觉感知特性。,基于梯度的特征检测算子存在的两个问题,只使用单一边缘模型，即假定边缘是阶跃不连续的。 这类算法过多地强

3、调了寻找“最优”的阶跃边缘检测算法，而我们初衷在于寻找图像中高信息内容的点。主要用亮度梯度值来表征边缘的强度。 图像的亮度梯度与许多因素有关，包括亮度、模糊程度和空间大小。例如，保持亮度不变，将图像大小加倍，则图像的梯度就减半。任何基于梯度的边缘检测算子就需要相应地修改阈值。以上讨论说明： 基于计算亮度梯度（或图像亮度空间的其它度量）的图像特征检测算子，依赖于图像对比度和空间大小。 基本问题：事先不知道哪一级边缘强度对应于显著特征。,相位信息重要性的经典证明,相位重要性的演示(a)提供幅度信息的图像, (b)提供相位信息的图像, (c)利用图像(a)的幅度信息和图像(b)的相位信息合成的图像,

4、 Oppenheim，1981,1.1 基于相位信息的图像特征检测,1.1.1 相位一致性（PC: Phase Congruency）假定图像中付里叶分量相位最一致的点为特征点。重要特点：无需对波形进行任何假设。,（a） （b）方波和三角波的付里叶级数展开,考虑1D信号。对于信号I(x)，其付里叶级数展开为 这里An为第n次谐波余弦分量的幅值，是常数（一般为2），n0是n次分量的相位偏移量或初始相位。函数n(x)表示x点的付里叶分量的局部相位。 相位一致性函数Kovesi, 1996：,相位一致性（PC）的数学模型,各种各样的特征类型都可使得相位一致性高的点出现。 正是通过对马赫带现象的研究才

5、导致了相位一致性模型的发展。Morrone, Nature, 1986 假设：人类感觉到的图像特征总是位于相位一致性高的点上。 相位信息对图像中的噪声、亮度和对比度的变化特别稳健。具有通用性、稳健性，并且与人类视觉感知特性一致。,相位一致性方法与Canny方法的比较(1),（）,（）,（）,相位一致性方法与Canny方法的比较(2),（）（）,相位一致性方法与Canny方法的比较(3),（） （）,相位一致性方法与Canny方法的比较(4),相位一致性方法与Canny方法的比较(4)（续）,马赫带原图以及SPC、PC和Canny检测结果,相位一致性方法与Canny方法的比较(5) Hering

6、 网格,Canny检测结果,PC(SPC)检测结果,相位一致性方法与Canny方法的比较(5)（续）,相位一致性方法与Canny方法的抗噪性能比较,相位一致性的局限性,局限性一：信号的频率含量是否丰富,正弦信号的相位一致性,局限性二：边界和特征连接处的“余震”现象,相位一致性在尖锐特征处表现的“余震”现象,1.1.2 对称相位一致性 (SPC, Symmetry Phase Congruency),考虑四个特殊的相位（对称相位）：0、/2、/2。这里的每一个相位对应于正交滤波器对的偶对称滤波器（实部）或奇对称滤波器（虚部）的响应为0。 例如，0相位表示奇对称滤波器（虚部）的响应为0，偶对称滤波

7、器（实部）的响应为正值。对于相位/2、，情况类似。 对称相位的重要特性：可以快速、准确地定位对称相位。 对称相位一致性的基本概念：将图像付里叶分量相位最一致且相位为四个对称相位的点作为特征点。,SPC将像素p、尺度n、方向o 映射为 和对称相位 ，表示如下：,且同时满足以下条件：(1)对称相位由 给定；(2)相位是一致的：在所有方向和尺度下的相位 是相同的；(3)sumE(p)为p点在相位一致时的能量和，sumA(p)为p点在相位一致时的幅度和，为小的正的常数，防止分母为0。,对称相位一致性(SPC)数学模型,从三方面说明： 二者共同点，用马赫带效应说明（与Canny算子的比较不再重复） SP

8、C的性能验证 分析SPC和PC提取特征的信息量问题 注：这里给出的关于SPC的所有实验结果都使用了相同的参数。,1.1.3 SPC与PC的比较,马赫带原图以及SPC、PC和Canny检测结果,正弦网格及其SPC和PC检测结果,一维正弦函数的SPC和PC结果,SPC与PC的比较(1)单频信号,SPC与PC比较(2)：“余震”现象,SPC基本上可以消除PC的“余震”现象,SPC与PC的比较(3)抗噪性能,（a）噪声强度为0.01,(c） 所加噪声为均值为0、方差为0.2的乘性噪声,（b） 所加噪声为均值为0.2、方差为0.01的高斯白噪声,SPC与PC的特征定位性能比较,SPC与PC的比较(4)定

9、位性能,SPC与PC的比较(5)信息量,一般来说，PC检测结果的信息量要大于SPC。但是从前面的实验结果看，信息量的多少对检测效果并没有明显的影响。 对于自然图像，二者的比较结果如图所示。,1.2 基于相位信息的对称性检测,对称性在自然界无处不在自然的和人工的物体通常会引起人的对称性的感觉越对称越漂亮对称性在感知问题上起很重要的作用：大脑对对称性的反应一块区域的对称性越强，越容易被看成图形军事伪装,三种类型的对称（分别为镜像对称、旋转对称、曲线对称）,对称性的分类,对称性检测常规方法的局限性,它们都是针对只包含一个物体的图像设计的。当图像包含多个物体时就需要进行分割，而我们在处理图像以前并不知

10、道图像中包含多少物体，因此这类算子具有一定的局限性。它们对图像对称性的度量 不符合人类的视觉特性。 比如，在同样的背景下有两个灰度不同的圆，如果用基于梯度的方法进行度量，则这两个圆的对称性必然与其梯度有关，即这两个圆的对称性不同，右边的圆比左边的圆“更圆”。这显然与客观不符。它们一般只能检测某一类对称性，比如镜像对称或者旋转对称，而对其它类型的对称则无能为力，即通用性较差。,基于相位信息的对称性检测(PSD, Phase-based Symmetry Detection),Construction of (a) square waveform and (b) triangular wavefo

11、rm from their Fourier series. In both diagrams the first few terms of the respective Fourier series are plotted.,33,PSD将像素p、尺度n、方向o映射为 、相位 ：,且同时满足以下两个条件：,(1) ，即所有尺度和方向下相位一致且相位为0的点的对称能量之和； (2) ，即所有尺度和方向下相位一致且相位为0的点的幅度之和。,PSD的数学模型,PSD的性能分析,(a) (b) (c) (d)Comparison between PSD and other methods(a) Ori

12、ginal image, (b) detection result of PSD, (c) detection result of KSD Kovesi, 1996, and (d) thinning result,（1）PSD可以同时检测多个物体的对称性,需要强调的是，这里给出的关于PSD的所有实验结果都使用了相同的参数。,(a) (b) (c)PSD is invariant to rotating, brightness and contrast(a) Original images contrast increased 60, (b) original images brightnes

13、s increased 60, and (c) original image rotated by 90o(a), (b), and (c) are the symmetry detection results of (a), (b), and (c), respectively,(a) (b) (c),（2）具有旋转、亮度和对比度不变性,（3）PSD与PCA的比较,(a) (b) (c)Comparison between PSD and PCA(a) Original plane, (b) symmetry detection by PCA, (c) symmetry detection

14、by PSD,(a) (b) (c),(a) (b) (c)Comparison between PSD and PCA for noised images(a) Plane with 10% Gauss distribution noise, (b) PCA of (a), (c) PSD of (a); (a) plane with 20% uniform distribution noise, (b) PCA of (a), and (c) PSD of (a),The scale parameters influence on results (1),The scale paramet

15、ers influence on results (2),(a) (b) (c) PSD results when the minimum scale is too small (a) and too large (b).,If the minimum scale is too small, when number of scale is fixed, then the much larger objects symmetry cannot be detected (see (b). If the minimum scale is too large, then very small and/

16、or thin objects in image will not be detected (shown in (c). According to the experiences, we select 20 for the minimum scale.,The scale parameters influence on results (3),(a) (b) (c)PSD results when the number of scale is changed.,About the number of scale, selecting 3 to 5 is well. Here we use 3.

17、 We find that the results change little even when it increases to 20. (b) and (c) are the PSD results when the number of scale is 3 and 20 respectively.From tests it is shown that slightly changing these parameters has no distinct effect on the detection results.,2.1 纺织品起毛起球客观评级2.2 布匹瑕疵检测2.3 色牢度客观评级

18、2.4 纺织品组织结构分析,2. 图像处理技术在纺织领域中的应用,2.1 纺织品起毛起球客观评级技术,第一行：针织物样本图像 第二行：毛球分割图像,图像采集,粘连毛球区域分离,基于神经网络的评级,开始,起毛起球性能指标计算,结束,基于相位信息的毛球检测,“基于图像分析的纺织品起毛起球客观评级系统”，其中：基于相位信息的毛球检测算法是系统的核心技术。该系统可以克服传统目测评级方法的主观性，可以客观、精确、高效地进行起毛起球等级评定。,纺织品起毛起球客观评级系统,2.2 基于图像处理的布匹瑕疵检测,传统的人工验布集中力最多维持20-30分钟，长时间会产生疲劳，容易漏检，并且人眼的可视度有限，人工验

19、布的速度为5-20m/min ；自动验布机系统验布速度可达120m/min以上，可视度比较灵活，检验率可达到90%以上。,上光源,下光源,木棍皱,跳花,破洞,棉球,霉斑,密路,布匹瑕疵描述,根据我国纺织行业标准织物疵点分类，布匹瑕疵的类型有55种。主要有：破洞、跳花和跳纱、霉斑、双纬、稀密路、脱纬、稀弄、纬缩、棉球、杂物等。,油斑 油经 断织,油纬 毛发 杂物,油斑分割图 油经分割图 断织分割图,油纬分割图 毛发分割图 杂物分割图,布匹瑕疵：检测与分割,Flowchart of cloth defect image classification,基于SVM的瑕疵分类,2.3 基于图像分析的色牢

20、度评级,(a)单色平纹 (b)单色斜纹 (c)单色缎纹,(d)彩色平纹 (e)纱线偏斜的彩色缎纹 (f)纱线偏斜的单色斜纹,(g)彩色平纹 (h)变化组织织物 (i)变化组织织物机织物样本图像,2.4 纺织品组织结构自动分析,3.4.1 原组织及变化组织机织物识别方法,(a)单色平纹 (b)单色 (c)单色缎纹,(d)彩色平纹 (e)纱线偏斜的彩色缎纹 (f)纱线偏斜的单色斜纹,(g)彩色平纹 (h)变化组织织物 (i)变化组织织物预处理后图像,灰度投影曲线及组织点分割结果,纱线偏斜机织物及灰度投影曲线,(a)偏斜矫正后图像 (b)组织点分割结果矫正后图像及分割结果,基于模糊C均值算法的组织点

21、分类与识别（初步结果）,基本组织循环及校正后的组织图,实际织物样本 组织图 基本组织循环,颜色多样的原组织及变化组织织物识别结果,条纹织物原图,2.4.2 条纹织物组织结构的自动识别方法,条纹组织纱线分割,扫描窗口选取示意图,分割和识别结果,条纹织物原图，相邻窗口间相关系数曲线，识别和分割结果,条纹织物组织的分割和识别结果,3 基于单目视觉的汽车安全预警技术,相机标定 图像采集及预处理 车道线检测 前方车辆检测 单目测距 前方行人检测 事件触发预警机制 事件触发数据存储 硬件平台及实验结果夜晚的前方车辆检测和行人检测驾驶员疲劳状况检测,3.1 相机标定,相机：MVC1000MS CMOS黑白工

22、业相机镜头：PENTAX 8.5mm 1:1.5 TV镜头,内参标定：张正友标定法,3.2 图像采集及预处理,相机：MVC1000MS CMOS黑白业相机镜头：PENTAX 8.5mm 1:1.5 TV镜头设置：相机对焦设为1.8英尺，光圈设为8，曝光时间设为20ms，使拍摄的视频帧率达到25 frames/s，图像分辨率为640480。,前视图,俯视图,侧视图,3.2 图像采集及预处理,采集到的一帧原始图像,3.3 车道线检测,3.3 车道线检测最小二值拟合,3.4 前方车辆检测,目标跟踪结果图,目标跟踪结果图,图中目标C经跟踪分类判决为伪目标FalseResult图中目标A为次等跟踪目标结

23、果InfResult，目标D是新出现的目标NewResult，目标B是稳定跟踪目标TrackResult。,3.4 前方车辆检测检测结果,3.4 前方车辆检测试验结果统计,3.5 行人检测,3.5 行人检测检测结果,3.6 单目测距数据回归的测距模型,相机固定后，前方目标的距离和相机成像后目标垂直像素高度一一对应，就可以采用数据回归建模的方法，拟合出距离与像素高度关系的曲线函数实现单目测距。,拟合距离/m,目标图像纵坐标/像素,3.6 单目测距实验获取拟合数据,三个角度下实验获取纵向和横向拟合数据,3.6 单目测距纵向和横向测距,将行人检测、前方车辆检测、车道线检测结果代入测距函数，计算行人和

24、车辆距离、本车与左右车道线的距离。,3.7 事件触发预警机制,3.7 事件触发预警机制 前方车辆预警机制,如果以（D - D）/Tf 的相对速度接近，两秒相对运动距离大于D，发出预警。,2秒后,3.7 事件触发预警机制车道偏离预警机制,当前状态或0.5秒后车身边缘距离车道线8CM，发出报警,3.7 事件触发预警机制 行人预警机制,如果检测到行人，即发出报警,3.8 事件触发数据存储,事件存储：系统上有SD卡接口，当有报警事件发生时，将事件发生前后的相关数据信息（如时间、车速、事件类型等）保存到SD卡中。存储卡中的数据可以随时传到计算机上进行分析。,DSP与ARM的通信：DSP模块的运行需要AR

25、M开发板端对其进行必要的参数设置。DSP模块的运行结果、预警信息也需要向ARM端输出，从而触发声音预警。,3.9 硬件平台,DSP模块,DSP仿真器,ARM开发板,视频播放器,喇叭,正常人的眼底图像例 重度糖尿病患者的眼底图像例,4 眼底图像分析,血管视盘微动脉瘤出血点渗出物图像拼接,4.1 结合PCNN和最大类间方差准则的眼底图像血管检测,(a) 具有病变的低对比度眼底图像 (b)绿色通道图像 (c)预处理后的图像具有病变的低对比度眼底图像预处理结果,原始图像专家手动分割结果Hoover方法分割我们方法,4.2 基于相位一致性的眼底图像血管分割算法,(a)原始图像 (b)绿色通道图像 (c)

26、CLAHE增强后图像 (d)滤波增强后图像,眼底图像的预处理,(a)原始图像 (b)调亮的眼底图像 (c)调暗的眼底图像(d)对比度拉伸后的眼底图像,基于相位一致性的眼底图像血管检测结果,(a)原始图像 (b)专家手动分割结果 (c)Hoover方法分割结果(d)我们方法分割结果,4.3 基于相位一致性的视盘检测与分割,原始图像 L*a*b颜色空间 Y*u*v颜色空间 Y*i*q颜色空间 H*s*v颜色空间 a通道图像 u通道图像 i通道图像 s通道图像,a通道PC图 u通道PC图 i通道PC图 s通道PC图 逻辑“与”结果,原图,Hoover方法结果,本文方法结果,本文方法与Hoover方法的视盘定位结果对比,4.4 DR图像渗出物的检测,4.5 DR图像出血点的检测,谢谢！,