第九章机器视觉课件.ppt

1,第九章 机器视觉检测技术,9.1 机器视觉概述1.机器视觉的发展(1)基本概念 计算机视觉：基于获取的图像，用计算机实现对视觉图像信息的处理，实现人的双眼的视觉功能；核心：通过对图像的分析实现对周围环境的认知和理解；机器视觉：在计算机视觉的理论框架基础上侧重工程化应用，实现场景中物体位置、姿态、尺寸等的测量。,2,(2)基本历程20世纪50年代：统计模式识别，主要工作：二维图像分析、识别和理解，对象有光学字符识别、工件表面、显微图片和航空照片的分析和理解等。20世纪60年代，Roberts：场景由多面体组成，多面体由简单的点、线、平面的组合表示，如立方体、楔形体、棱柱体等，计算机从图像中提取出多面体的三维结构，对其形状和物体的空间关系进行描述以理解三维场景为目的三维机器视觉。,9.1 机器视觉概述,3,20世纪70年代,英国学者Marr：提出Marr视觉理论，在20世纪80年代成为计算机视觉研究领域一个十分重要的理论框架，突破了简单的多面体为对象的三维视觉研究。新的理论框架：主动视觉理论框架；基于感知特征群的物体识别理论框架；基于多视几何的视觉理论。,9.1 机器视觉概述,4,2.机器视觉面临的问题 准确、快速的目标识别 存储容量 可靠的识别算法3.视觉系统的局限性原因（1）图像对景物的约束不充分，丢失信息。从图像恢复景物时存在多义性（2）场景多种因素在图像中混叠，很难分离某种因素的影响程度（3）理解自然景物需要大量知识（专门知识）（4）对人类视觉的研究和理解还远远不够,9.1 机器视觉概述,5,4.机器视觉的关键技术（1）摄像机模型（视觉描述基础）（2）视觉传感器的构建（3）传感器(系统)视觉模型建模（4）视觉图像特征提取（5）系统的标定,9.1 机器视觉概述,6,5.基本的视觉方法 结构光法 双目立体视觉方法 多传感器法 流动式测量方法 多目视觉多视几何视觉 基于经纬仪的大尺寸测量（稀疏点）,9.1 机器视觉概述,7,9.2 机器视觉构成,1.机器视觉系统的一般构成,视觉传感器、高速图像采集系统、专用图像处理硬件系统（计算机软件算法）、计算机等。二值视觉系统、灰度视觉系统,8,9.2 机器视觉构成,1.机器视觉系统的一般构成,视觉传感器：计算机视觉系统信息的直接来源。组成：一个或两个图像传感器、光投射器以及其它辅助设备。功能：获取足够的计算机视觉系统要处理的最原始图像。图像传感器：可以是激光扫描器、线阵和面阵CCD摄像机或 者TV摄像机及最新出现的数字摄像机等。光投射器：可以为普通照明光源、半导体激光器或者红外激 光器等，它的功能主要是参与形成被分析的物体图像的特征。,9,9.2 机器视觉构成,1.机器视觉系统的一般构成,高速图像采集系统：专用视频解码器、图像缓冲器以及控制接 口电路。功能：实时地将视觉传感器获取的模拟视频信号转换为数字图像信 号，并将图像直接传送给计算机进行显示和处理，或者将数 字图像传送给专用图像处理系统进行视觉信号的实时前端处 理。计算机：是机器视觉系统的核心。功 能：控制整个系统各个模块的正常运行，视觉系统的最后结果 运算和输出。,10,1、机器视觉应用领域 零件识别与定位 产品检验（测）农业水果分拣 移动机器人导航（星球机器人）遥感图像分析（植被分析、人工地物分析）医学图像分析（骨骼定位、血管重建、细胞分析）安全鉴别、监视与跟踪（门禁系统、车辆监视）国防系统（目标自动识别与目标跟踪）三维形貌检测（动画、体育、考古）,9.3 机器视觉的应用,11,12,13,14,15,16,17,9.4 图像特征提取,数字图像的基本概念数字图像：被划分成很多像元的小区域集合，每个像素的位置反映了物理图像上对应点的亮度，图像被表示成一个数字矩阵。每个像素的属性：位置和灰度,灰度,像素,18,图像的分类灰度图像和彩色图像图像亮度表示：灰度图像：8位，4位，二值彩色图像：R、G、B，每个 颜色又分为8位,19,图像的预处理图像平滑：消除噪声，提高图像质量邻域平均法：用窗口灰度的平均值代替该点灰度值。缺点：细节模糊,四邻域平均,八邻域平均,20,中值滤波：抑制干扰脉冲和点状噪声。,一维和二维中值滤波,21,高斯滤波：消除随机噪声。,滤波前灰度,滤波后灰度,22,角点,光条,边缘,图像特征提取,23,边缘特征提取,边缘：图像中灰度发生急剧变化的区域的边界。图像灰度的变化用图像灰度分布的梯度反映。,边缘特征的提取步骤,24,一阶边缘检测算子：,Sobel算子,Prewit算子,25,二阶边缘检测算子：laplace算子,边缘的二阶微分,26,Sobel算子,Prewit算子,Laplace算子,原始图像,27,Canny边缘检测算子,在梯度极值方向进行非极大抑制：垂直于边缘的方向(梯度的方向)上互相比较邻接像素的梯度幅值，并除去具有比邻域处小的梯度幅值。,28,29,图像的统计特征,把图像看作随机过程，则可做一阶及二阶统计。一阶：单个象素特征。二阶：一对象素特征。1)一阶统计特征：P代表坐标，Z为灰度，P(P，Z)象素。对同一对象的不同观测结果，随机过程，略去了随机性变化，坐标位置关系，简化成直方图(Histogram）。纵坐标：象素个数/某灰度也可用百分比横坐标：灰度（0255）总面积：全图象素数,30,直方图：离散状态下图像灰度的概率密度分布。图像直方图不可逆变换，多对一的变换多个图像可以生成相同的直方图，一阶统计特征未反映相邻点之间的关系。但反映了图像的灰度散布范围等特征，在很多场合下，往往是重要特征。,六个象素,黑板(加墙)的直方图,31,直方图处理,通过调整图像的直方图,达到所需增强的目的。1)灰度变换法：由于光照不足，原图象灰度范围窄，看不清晰，直方图拉伸后灰度相差加大，分辨清晰。,DBf（DA）可将一直方图变另一直方图即：HA(DA)HB(DB)直方图下总面积不变为1，由概率论知：,32,DB=f(DA)常见的三种变换曲线：线性：DB=aDA+b(分为线性)突出感兴趣目标，抑制不感兴趣目标对数曲线：DB=Alg(DA+b)小灰度展开，大灰度压缩指数曲线：DB=DA*a+b大灰度展开，小灰度压缩具体编程实现引入查找表（lookup table）概念图象512512大小，需256KB次运算，太慢注意图象值输入：256级0255 输出：256级0255 输入到输出是映射关系,指数,对数,DA,DB,33,2)直方图均衡：直方图可用灰度为256，但仅用了2/3，即可用灰度级别来充分利用，一种可能的充分利用多灰度方法是直方图越平越好。多灰度值点数均摊。HB=1/m由：HAdDA=HBdDBDB=f(DA),dDB=dfHAdDA=1/m dfdf=mHAdDAf=mHAdDA,34,1.坐标系转换 摄像机模型描述物像成像几何关系，最简单的模型针孔成像模型。计算精度要求较高时，考虑镜头畸变，用非线性模型描述摄像机 的成像。图像坐标系、摄像机坐标系、世界坐标系 图像在计算机中是以矩阵的形式存储，矩阵的每个元对应的是图 像中该点的亮度值。（1）图像坐标系：以像素为单位的图像坐标系（计算机内存或屏幕）以毫米为单位的图像坐标系（摄像机CCD感光面）,9.5 摄像机模型,35,图像坐标系,像素图像坐标系的原点：屏幕的左上角，水平向左为 u轴正向，竖直向下为v轴正向。图像坐标系坐标原点：以图像内的中心点O1，X轴平行且同向于u轴，Y平行且同向于v轴，单位为mm。若O1点的像素坐标为（u0,v0）,且每个CCD感光元在X方向和Y方向的物理尺寸分别为dX和dY，则两种图像坐标系之间的点的坐标转换关系为：,36,用齐次坐标描述为：,或：,37,（2）摄像机坐标系和世界坐标系,摄像机坐标系：Ocxcyczc Oc点:摄像机光心xc轴和yc轴与图像平面的X轴与Y轴平行，zc轴:摄像机光轴，与图像平面垂直。光轴与图像平面的交点O1为图像坐标系的原点。OcO1为摄像机有效焦距。摄像机在空间中的位置是任意的，需选择一个基准坐标系描述摄像机的位置，选定坐标系Owxwywzw为世界坐标系。,38,Ocxcyczc与Owxwywzw之间是三维刚体变换关系：,R：旋转矩阵维数3 3，正交矩阵，t：平移矩阵，维数31R和t：摄像机模型的外部参数。,39,3）针孔成像模型,9.5 摄像机模型,f:有效焦距，光轴：zc轴；O1：光轴与像平面的交点,O1(0,0,f)Oc:摄像机透视投影中心,Oc(0,0,0)Oc-xcyczc:摄像机坐标系O1XY:摄像机像平面坐标系,X轴平行于xc轴，Y轴平行于yc轴,40,即,摄像机针孔成像模型：,对应矩阵表达式：,41,问题,若已知点在空间的三维坐标（xc,yc,zc）,则唯一确定其对应的像平面上的二维坐标(X,Y)；若已知点在图像上的二维坐标(X,Y)，却不能唯一确定其对应的空间三维坐标（xc,yc,zc）。,42,（4）二维像点和基准世界坐标系(xw,yw,zw)的关系 摄像机针孔模型坐标系和图像坐标系之间的关系：,像素二维坐标系和基准世界坐标系之间的关系（完整模型）：,43,M1：摄像机内部参数，只与摄像机的内部结构有关。M2：摄像机外部参数，摄像机相对于世界坐标系的方位确定摄像机内外参数的过程称摄像机标定。u0，v0以及f和dx，dy称为摄像机的内部参数。,44,3.摄像机非线性模型,实际的摄像机存在多种畸变，使得空间点的图像坐标与空间点不是严格的透视投影关系。遵循严格透视投影关系的图像坐标（称为理想图像坐标）不能直接获得，需由畸变后的图像坐标（称为畸变图像坐标）计算。理想图像坐标为(Xi,Yi)，单位mm畸变图像坐标为(Xd,Yd)，单位mm,45,（1）摄像机畸变的类型及描述,畸变存在的原因：a.透镜的形状缺陷引起径向畸变b.透镜与摄像机装配之间的缺陷引起径向和切向畸变c.偏心畸变：透镜等光学元件的光学中心并不严格共轴或共线.,径向和切向畸变,46,Radial distortion(径向畸变),主要是由于透镜元件的径向曲率曲线缺陷引起。有桶形畸变和枕形畸变两种 桶形畸变相对于无畸变图像向里收缩。枕形畸变相对于无畸变图像向外扩张。径向畸变相对于光轴严格对称。,47,数学描述：,48,（2）理想坐标与畸变坐标之间的关系（单位mm）,（3）畸变的像素图像坐标与毫米图像坐标之间的关系 设畸变的像素图像坐标为(us,vs),则有：,其中：,NcX:摄像机感光面CCD上每行的像元数NsX:摄像机对CCD每行扫描由零阶采样保持器产生一连续波形，该波形被图像采集卡产生的像素数,49,3.摄像机非线性模型 一般工业摄像机只考虑一阶径向畸变。对于采用广角镜头的情况，需要考虑多种畸变情况。若只考虑径向一阶畸变，则理想像坐标与畸变像坐标的关系为：,结论：图像边缘处的畸变程度较大。,50,线性摄像机模型标定,线性模型摄像机标定：不考虑行扫描不确定性因子sX和透镜的畸变,4.摄像机的标定,51,利用的是标定参照物的方块的角点作为标定点。角点的求取最直观简单的方法就是方块边缘直线的角点。直线可利用哈夫变换法或者检测边缘后做直线拟合。,标定参照物,52,2.非线性摄像机模型标定（基于径向约束的方法)）,径向约束示意图,53,径向约束的基本表达：xc/yc=Xi/Yi=Xd/Yd第一步：求旋转矩阵R，平移矢量T的tx，ty分量以及sx ty符号的确定第二步：求有效焦距f，T的tz分量，畸变系数k以及相面中心坐标（u0，v0）（1）先求f和tz的初值。先不考虑畸变k。（2）然后对f，tz，k，u0，v0进一步优化求解 上述标定是基于三维立体参照物,54,9.5 双目立体视觉,9.5.1.双目立体视觉测量原理及数学模型 平行双目立体视觉,简单的平视双目成像原理图,55,视差为：Disparity=Xleft Xright,56,一般位置双目立体视觉测量模型,一般位置的双目立体视觉（1）世界测量坐标系与左摄像机的摄像机坐标系一致。,57,下列模型没有考虑除f之外的其它摄像机的内部参数。,58,已知对应空间同一点的左右图像即可得到空间点的三维坐标求解对应空间同一点的同名像素点是立体视觉的一个难点。,59,9.5.2 立体匹配立体匹配中的约束（1）外极线约束（epipolar line）,外极线几何示意图（极线、极点、极平面）,60,利用外极线约束进行特征点匹配(左图像上一点m1在右图像上的对应点不能由极线约束唯一确定),61,（2）唯一性约束 一幅图像中的每一个特征点只能与另一幅图像上的唯一一个特征点对应。（3）一致性（相似性）约束 若图像中的两点对应空间中同一点，则图像中这两点及其它们的一定范围内的邻域在某些物理量上应具有相似性，如：灰度、灰度的梯度；或者在几何形状上有相似性，如空间点是某一个多面体的顶点，则对应的两个像点应该是图像中某一多边形的顶点。,62,（4）连续性假设约束 若空间点P和Q为同一物体表面且相距很近的点，则它们在双目立体系统的两幅图像上的投影像点也应该分别比较接近。如果已经建立了P的两个像点的对应关系，则可以利用它们引导对Q的两个像点进行匹配。这里的假设是物体的表面是连续的，P和Q的深度像差不大。（如视差连续）（5）顺序一致性约束 位于一幅图像极线上的系列点，在另一幅图像中的极线上具有相同的排列顺序。点的时针顺序不变，点的凸性不变。,63,基于上述约束准则的一些匹配方法（1）基于灰度相似性的相关法 问题的关键在于如何度量灰度的相似性。一般选择互相关系数来计算相似度，也即归一化灰度互相关系数。（2）基于视差梯度的相似性计算 在图像中相互靠近的两点，一般具有相似的视差。视差梯度可以作为相似性的一种度量。（3）特征点匹配方法 图像中的边缘点和角点通常被用作匹配特征点，它们是灰度不连续的点。同一空间点在左右图像上的像点应该在图像中的边缘上或为角点。这样极线与边缘的交点或者在极线上的角点就是对应的匹配点。在边缘没有实现匹配的情况下，因此该方法仍然不是求对应匹配点的充分条件。,64,65,66,9.6 结构光视觉,9.6.1.结构光视觉原理,67,结构光三维视觉常见的模式：,点结构光法,线结构光法,多线结构光法,网格结构光法,68,线结构光视觉传感器的模型（空间相对位置较特殊）,69,一般位置线结构光传感器模型,线结构光三维视觉检测模型,70,摄像机坐标系与模块坐标系的空间位置关系:,摄像机坐标系下点的透视投影关系：,71,模块坐标系下的空间点的透视投影关系：,光平面在模块坐标系下的方程为：,72,进一步得到简化模型：,若：,则结构光光平面在模块坐标系下的方程可写为：,73,则新的结构光三维视觉检测模型表达如下：,74,立体块法：,9.6.2 结构光平面的标定,75,交比不变：,76,77,平面靶标移动法,78,9.7 机器视觉系统,轿车白车身视觉测量系统,79,无缝钢管直线度激光视觉检测系统（椭圆中心定位问题）,9.7 机器视觉系统,80,车轮激光视觉定位系统,9.7 机器视觉系统,81,基于人工神经原网络的视觉检测系统,9.7 机器视觉系统,82,圆孔内表面检测系统,9.7 计算机视觉系统,83,基于立体视觉的检测系统,9.7 机器视觉系统,84,（1）质心法 一般的质心法 带阈值的质心法,9.6.3光条信息提取方法,，,，,85,平方加权质心法（2）曲线拟合法,，,