机器视觉第5章尺寸测量技术.ppt

第5章 尺寸测量技术,第5章 尺寸测量技术,第5章 尺寸测量技术,尺寸测量是机器视觉技术最普遍的应用行业，包括物件的长度、角度、孔径、直径、弧度等都是典型的物件待测几何参数。传统尺寸测量精度低、速度慢、无法满足大规模自动化生产的需要。基于机器视觉的尺寸测量技术属于非接触性测量，具有检测精度高、速度快、成本低、便于安装等优点。不但可以获取在线产品的尺寸参数，同时可对产品作出在线实时判定和分检。,第5章 尺寸测量技术,第5章内容,长度测量面积测量圆测量线弧测量角度测量,第5章 尺寸测量技术,5.1 长度测量,长度测量是尺寸测量技术中应用最广泛的一种测量，基于机器视觉的长度测量发展迅速，技术比较成熟。特别是测量精度高、速度快，对在线有形工件的实时NG(No Good)判定、监控分检方面应用广泛。直线间距离测量线段长度测量,第5章 尺寸测量技术,5.1.1 距离测量,基本步骤：1)对定位距离的两条直线进行识别和拟合。(关键步骤)2)得到直线方程后，根据数学方法计算两线间的距离。直线是图像的基本特征之一，研究直线检测算法具有重要意义。一般，物体平面图像的轮廓可近似为直线及弧的组合，因此，对物体轮廓的检测与识别可以转化为对这些基元的检测与提取。在运动图像分析和估计领域，也可以采用直线对应法实现刚体旋转量和位移量的测量。两种经典的直线拟合(检测)算法：最小二乘法、哈夫(霍夫)变换法,第5章 尺寸测量技术,直线拟合的最小二乘法,直线函数：y=ax+b，a、b是待定常数。记：i=yi-(axi+b)i反映计算值y与实际值yi的偏差，可正可负。用i的平方反映估计值与实际值的偏差。对拟合直线上的若干点，当它们的偏差平方和 最小，可以保证每个点的偏差都不会大。,第5章 尺寸测量技术,直线拟合的最小二乘法,问题归结为：确定y=ax+b中的常数a、b，使F(a,b)最小极值原理：,第5章 尺寸测量技术,直线拟合的最小二乘法,直线函数：y=ax+b，a和b是待定常数。极值原理：最小二乘法可以方便、快速地求解直线方程。缺点：拟合出的两条直线可能不平行。一般采用一条直线上多点到另一条直线的距离平均值来近似计算。思考题：一张图上有多条直线，如何将离散的像素点分到正确的直线类中？,第5章 尺寸测量技术,直线拟合的哈夫变换方法,Hough变换Hough，1962是一种利用图像全局特征将特定形状的边缘连接起来，形成连续平滑边缘的一种方法。它通过将源图像上的点映射到用于累加的参数空间，实现对已知解析式曲线的识别。由于Hough变换利用了图像全局特性，所以受噪声和边界间断的影响较小，比较鲁棒(Robust)。Hough变换常用来对图像中的直线和圆进行识别。,第5章 尺寸测量技术,直线拟合的哈夫变换方法,直线函数：y=px+q图像空间XY：(x,y)参数空间PQ：(p,q),Y,X,O,点-线对偶性：图像空间中共线的点，对应在参数空间中相交的线。参数空间中相交于一点的所有直线，在图像空间里都有共线的点与之对应。,第5章 尺寸测量技术,直线拟合的哈夫变换方法,点-线对偶性：图像空间XY中共线的点，对应在参数空间PQ中相交的线。参数空间PQ中相交于一点的所有直线，在图像空间XY里都有共线的点与之对应。结论：在PQ平面上相交直线最多的点，对应在XY平面上的直线就是解。问题：在XY平面中用斜率描述的直线存在斜率P无穷大(即直线垂直)的情况，会给计算带来不便，一般采用点-正弦曲线对偶。,第5章 尺寸测量技术,直线拟合的哈夫变换方法,直线的极坐标方程：r=xcos+ysin参数空间r：(r,)，(0,)，r(-R,R)点-正弦曲线对偶：图像空间中的点(x,y)映射到r参数空间,r=x1cos+y1sin,r=x2cos+y2sin,(x2,y2),(x1,y1),第5章 尺寸测量技术,直线拟合的哈夫变换方法,假设：1)图像上的直线是一个容器；2)直线上的点(图像中的特定像素)是放在容器中的棋子。由于图像上任一像素可以同时属于多根直线，即可看成每个棋子(像素)可以同时放在多个容器中(直线)。Hough变换的基本思想：依次检查图像上的每个棋子(特定像素)。对每个棋子，找到所有包含它的容器(直线)，并为每个容器的计数器加1。遍历结束后，统计每个容器所包含的棋子数量。当图像上某个直线包含的特定像素足够多时，就可以认为直线存在。,第5章 尺寸测量技术,Hough变换时，依次对像素A、B进行处理像素A的处理结果：L1、L2、L3、L4等直线的计数器加1；像素B的处理结果：L2、L6、L7、L8等直线的计数器加1；最终结果：除L2外，其余直线区域的计数器值均为1。根据图像大小设定阈值T，规定若某个直线计数器内包含的特定像素数量T，则认为此直线存在。,第5章 尺寸测量技术,直线拟合的哈夫变换方法,具体步骤：将r空间量化，得到二维矩阵Mr；根据极坐标表示法，r是直线到原点的距离。设图像的对角线长度为n，固定左上角为原点，则r的取值范围为0,n。令以1度为增量，则的取值范围为0,359。此时，M是一个n行360列的二维矩阵。矩阵中任一元素Mr所存储的值就是图像中由参数(r,)决定的直线上所拥有的像素数。初始化时，矩阵M置为0。,第5章 尺寸测量技术,直线拟合的哈夫变换方法,遍历图像，对像素(xi,yi)，将的所有量化值和像素坐标(xi,yi)，依次代入直线的极坐标方程，计算r的值，根据当前r、，将对应的累加器加1，即：Mr=Mr+1。分析Mr，如果MrT，就认为存在一条有意义的线段，(r,)是该线段的拟合参数。T是一个非负整数，由图像中景物的先验知识决定，与图像大小有关。由(r,)和(xi,yi)共同确定图像中的线段，并连接断裂部分。,第5章 尺寸测量技术,若将Hough变换得到的各直线计数器的值看作图像的灰度，把用于存储的二维数组看做像素矩阵，则可得到Hough变换的图像。,原灰度图像,参数空间映射图像,第5章 尺寸测量技术,应用Hough变换对倾斜表格图像纠偏,(a)倾斜的表格图像(b)对(a)二值化,(c)Hough变换累加数组(d)最长直线的角度纠正倾斜图像,p,q,o,第5章 尺寸测量技术,直线拟合的哈夫变换方法,优点：针对有噪图像具有稳定性和鲁棒性不足：计算量大，占用内存大检测精度受参数离散间隔制约只能指出图像中某条直线的存在，不能给出直线段的完整描述(端点坐标和长度信息等),第5章 尺寸测量技术,Hough算法的改进,随机Hough变换(RHT)随机选取两个边缘点，由这两点唯一确定参数空间的一个点，这是多到一的映射，避免了传统Hough变换一到多映射的庞大计算量。在实现累积时，采用动态链表结构，只对多到一映射所得到的参数分配单元进行累积，从而降低了内存需求，提高运算速度。,第5章 尺寸测量技术,Hough算法的改进,随机Hough变换与最小二乘法结合进行直线检测 首先用随机Hough变换确定直线的大致位置；然后，利用所得直线参数，计算图像中的点到直线的距离，根据距离，可以确定每条直线附近的点集，剔除干扰点和噪声；最后，用最小二乘法(LSM)对点集中的各点进行拟合，得到精确的直线参量。,第5章 尺寸测量技术,Hough算法的改进,基于局部PCA方向统计分析的Hough直线检测算法 首先通过边缘检测获得图像边缘，对边缘像素进行分块处理，利用PCA得到所有掩膜范围内的主元方向，将获得的局部方向信息映射到参数空间，侧重利用其统计规律来模糊约束Hough变换极角范围，达到减少运算量和存储累计矩阵的目的。,第5章 尺寸测量技术,5.1.2 线段测量,在工件检测中，经常要测量多边形工件的边长，即测量两个端点间的线段的长度。线段测量的核心是在图像中找到线段的两个端点，通常这些端点是图像中的角点。基于Harris角点检测的线段测量方法流程：1)对采集到的工件图像进行角点提取；2)对工件图像进行轮廓提取；3)利用轮廓信息对角点位置进行精确定位；4)根据检测到的角点计算角点间的距离。,第5章 尺寸测量技术,5.1.2 线段测量,问题：如何利用轮廓信息对角点位置进行精确定位？Harris角点检测时，需要采用高斯低通滤波进行平滑，因而用该方法检测出的角点位置存在误差，会影响测量精度。如果知道图像轮廓信息，可以利用轮廓信息判断角点是否在轮廓上。如果在，则该点是角点的准确位置。否则，找出轮廓上离Harris角点最近的点，作为这个角点的精确位置。,第5章 尺寸测量技术,5.5 角度测量,在工业零件视觉检测的应用中，经常需要对工件中的一些角度进行测量。螺母正视图中每条边相互的夹角大小及是否相等零件底面与侧面的垂直度检测角度检测的关键是对所测角度的两条边线的提取，然后利用斜率计算公式得到两条线的夹角。可采用以上介绍的方法，得出两条直线方程,第5章 尺寸测量技术,5.5 角度测量,设直线L1、L2的斜率存在，分别为k1、k2。设L1沿逆时针方向转动到L2的转向角为。则，两条直线的夹角计算公式为：tan=(k2-k1)/(1+k1k2),第5章 尺寸测量技术,5.2 面积测量,面积测量在工业测量领域中应用十分广泛，例如目前比较成熟的基于机器视觉技术的果品自动筛选设备、金属腐蚀测试设备等，都是对面积测量技术的直接应用。面积测量的两种重要算法：基于区域标记的面积测量基于轮廓向量的面积测量,第5章 尺寸测量技术,5.2.1 基于区域标记的面积测量,基本思想：计算待测物体所在区域的像素点个数，得到面积。前提条件：已知图像中待测物体的所在区域。问题：实际应用中，待测图像内可能有多个需要测量面积的物体。解决方法：连通区域标记，最常用的方法是8连通判别算法。目的是给图像中每个连通的区域分配一个唯一的标记值，以判定区域中的物体是否是独立的，以及区域中的物体是否只是噪声。,第5章 尺寸测量技术,5.2.1 基于区域标记的面积测量,具体步骤：将图像二值化，对二值图像，从左到右，从上到下，依次检验每个像素，如果发现某像素值为0，则依次检测该点的右上、正上、左上、左前共4个点的像素值，判断其是否与已标示区域连通，并标示物体，将物体的像素值改为该像素所在区域的标号。依次逐行检测至扫描结束。循环取得各点的标号，根据不同的标号，将像素加到对应的数组。计算各个连通区域的面积及个数等。,第5章 尺寸测量技术,5.2.1 基于区域标记的面积测量,问题：如何进行不关注区域的消除求得每个连通区域的面积后，可以设置一个阈值，当区域面积小于(或大于)这个阈值时，则消去这个区域。不关注区域的消除，有利于用户进行后期处理。,第5章 尺寸测量技术,5.2.2 基于轮廓向量的面积测量,该方法能准确地确定边界内像素，精确地得到需要测量的面积。在测量不规则轮廓区域面积时，是一种简单、可靠、有效的方法。基本思想：在感兴趣区域的轮廓向量已知的情况下，用外轮廓所包含的面积减去其内部各个内轮廓所包含的面积，得到此连通域实体的面积，进而计算出具有任意形状的每个感兴趣区域的面积。,第5章 尺寸测量技术,5.2.2 基于轮廓向量的面积测量,实现原理：对感兴趣区进行边界跟踪，获得一组有序边界点。(轮廓跟踪法见上一章4.3.2)把前一边界点(P-1)到当前边界点(P)的路径称为前级向量；把当前边界点(P)到下一边界点(P+1)的路径称为次级向量；针对不同方向，结合前级向量和次级向量，判断当前边界点的右侧像素是边界点、边界内点还是边界外点。,第5章 尺寸测量技术,5.2.2 基于轮廓向量的面积测量,思考题：如何判断当前边界点的右侧像素是边界点、边界内点还是边界外点？,P,P+1,P-1,第5章 尺寸测量技术,5.2.2 基于轮廓向量的面积测量,两种面积测量方法的比较：与基于区域标记的方法相比，基于向量分析的方法运算速度较快。它主要针对轮廓面积进行计算，不要记录每个连通域的信息。此外，从测量效果上来说，基于向量分析的方法准确性和稳定性也比较高，是一种较有效的面积测量方法。,第5章 尺寸测量技术,5.3 圆测量,圆测量是尺寸测量技术中与长度测量并列的另一种应用较为广泛的测量方式。传统物理接触方式测量圆弧，参考点太多，无法从整体上把握综合参数，速度慢，精度较低。基于机器视觉技术的圆测量可以大大提高测量速度和精度，目前技术发展较快，实际应用也较成熟。正圆测量椭圆测量,第5章 尺寸测量技术,5.3 圆测量,圆测量中应用最广泛的是正圆测量，椭圆测量相对较少，因此通常情况下将正圆测量简称为圆测量。测量基本步骤：首先对圆的外形轮廓进行识别和拟合，得到圆的方程后，根据数学方法获取相关的各种参数。圆拟合的经典算法：哈夫变换法最小二乘法,第5章 尺寸测量技术,5.3.1 圆测量中的哈夫变换法,Hough变换不仅可用于检测直线、连接位于同一直线上的点，也可以检测满足解析式：f(X,C)=0形式的曲线并把曲线上的点连接起来。X是一个坐标矢量，C是一个系数矢量。对于半径为r，圆心为(a1,a2)的圆，有解析表达式：(x-a1)2+(y-a2)2-r2=0参数空间：(a1,a2,r),第5章 尺寸测量技术,5.3.1 圆测量中的哈夫变换法,对于半径为r，圆心为(a,b)的圆，有解析表达式：(x-a)2+(y-b)2=r2参数空间：(a,b,r)物理意义1：图像空间中的点(xi,yi)对应参数空间中的一个三维直立圆锥。(a-xi)2+(b-yi)2=r2,第5章 尺寸测量技术,5.3.1 圆测量中的哈夫变换法,物理意义2：图像空间中的圆对应着参数空间中的一个点，该点约束了通过该点的一个圆锥面的参数(a,b,r),第5章 尺寸测量技术,5.3.1 圆测量中的哈夫变换法,对于半径为r，圆心为(a,b)的圆，有解析表达式：(x-a)2+(y-b)2=r2参数空间：(a,b,r)在参数空间中建立一个3D的累加数组，记为A(a,b,r)，让a,b依次变换算出r，对A累加：A(a,b,r)=A(a,b,r)+1其余与检测直线上的点相同。,第5章 尺寸测量技术,5.3.1 圆测量中的哈夫变换法,例：用哈夫变换检测圆，设半径已知，求圆心。图1是一幅256256灰度合成图，内有一灰度值160半经为80的圆目标，背景灰度值96。整幅图迭加了在-48,48间均匀分布的随机噪声。图2用Sobel求梯度取阈值得边缘。图3哈夫变换得累加器图像,亮点为圆心。图4因半径已知得圆周。,第5章 尺寸测量技术,5.3.1 圆测量中的哈夫变换法,原图 Canny边缘检测结果,第5章 尺寸测量技术,5.3.1 圆测量中的哈夫变换法,原图的哈夫变换结果 哈夫变换检测圆结果,第5章 尺寸测量技术,5.3.1 圆测量中的哈夫变换法,几种改进Hough变换性能的方法：方法1：使用边界梯度信息来减少参数空间的工作量。,第5章 尺寸测量技术,5.3.1 圆测量中的哈夫变换法,右上图不考虑梯度方向，图中小方块对应图像空间中的圆周点，虚线圆为可能的圆心位置。此时由于不知道圆心应在何方，需要检查整个虚线圆周以确定图像空间中的圆心点。右下图考虑梯度方向时的情况。图中对应图像空间中圆周点的小方块里的箭头代表梯度方向。考虑梯度指向后，可能的圆心位置大大减少。只需考虑梯度所指方向的虚线圆弧就可以。,第5章 尺寸测量技术,5.3.1 圆测量中的哈夫变换法,几种改进Hough变换性能的方法：方法2：如果圆的半径r已知，问题进一步简化为2D参数空间。这时参数的轨迹是半径为r的圆周，且图像空间和参数空间的轨迹都是圆周，称圆周圆周对偶性。半径r的确定方法：利用上节面积测量方法求出圆的面积，进而计算得到圆的半径。S=r2/2方法3：随机圆检测法(见“随机测圆法基本算法描述.doc”),第5章 尺寸测量技术,5.3.2 圆测量中的最小二乘法,圆方程：(x-A)2+(y-B)2=R2令：a=-2A，b=-2B，c=A2+B2-R2圆方程变为参数(a,b,c)的线性方程：x2+y2+ax+by+c=0只要求出a,b,c，即可转化为圆的3个参数：教材P163,第5章 尺寸测量技术,两种方法性能比较,最小二乘法速度最快，但精度较差。传统的哈夫变换法因为要进行三维拟合，所以速度很慢，优点是精度高。改进的哈夫变换法先通过面积求半径，使传统的哈夫变换的三维问题变为二维问题，大大提高了速度，精度也不错。以上这些方法主要针对简单背景下的圆图像进行测量。在复杂背景下，如背景中含有多边形、椭圆等其他图形时，会限制这些方法的应用。,第5章 尺寸测量技术,5.3.3 利用曲率识别法识别圆,这种方法能分离圆和其他多边形，进而求解出目标圆的参数。算法基本原理：1)对图像进行轮廓提取；2)计算所有轮廓的质心(xc,yc)和面积area；,第5章 尺寸测量技术,5.3.3 利用曲率识别法识别圆,3)求曲率circularity。曲率为1，则为圆，多边形曲率1，剔除非圆；max：质心到轮廓上点的最大距离。4)拟合圆，得到圆参数。,第5章 尺寸测量技术,5.4 线弧测量,目的：检测图像轮廓中的直线和圆弧，并将它们分离。两种方法：基于Harris角点检测的线弧分离基于哈夫变换的线弧分离,第5章 尺寸测量技术,5.4 线弧测量,基于Harris角点检测的线弧分离：对图像进行轮廓提取，得到轮廓信息；对轮廓进行平滑，提高角点和切点确定的准确性；用Harris角点检测法检测出轮廓的角点；角点将轮廓分成若干段，提取其中的切点，根据切点区分轮廓中的直线和圆弧；对每段轮廓进行曲线拟合，得到直线或圆方程。,第5章 尺寸测量技术,5.4 线弧测量,基于哈夫变换的线弧分离对图像进行轮廓提取，得到轮廓信息；利用哈夫变换拟合出轮廓中的直线；利用哈夫变换拟合出轮廓中的整圆或圆弧；根据拟合出的直线和圆弧信息找到图像中的角点；利用角点进行线弧分离并计算线段的长度。,第5章 尺寸测量技术,作业,书面习题：课件ppt中：第8页和第33页教材P178，“一、习题”，3.采用Harris检测算法进行角点提取时，存在角点位置偏移现象，如何减少这种偏差？上机实验：P178：二、实验1.编写程序分别利用哈夫变换方法和Harris角点检测方法测量正六边形的各边边长。,