视觉测量与三维重建ppt课件.pptx
视觉测量与三维重建,Computer vision technology has been widely applied in many fields, such as associal production and life. It enables digital computer have the ability of recovering the surrounding environment and information from the two-dimensional data, and copys human visual cognition to computer.,目录 CONTENTS,1,稀疏点云重建,Sparse point cloud reconstruction,2,点云配准,point cloud registration,4,参考文献,Reference paper,3,后期计划,Later plan,01,稀疏点云重建,Do onething at a time, and do well. Never forget to say thanks”. Keep on going never give up. Whatever,稀疏点云重建步骤：,（1）特征点的提取 特征点指的是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点(即两个边缘的交点)。当前比较常用的特征点提取算法： 1）尺度不变特征变换算法（Scale Invariant Feature Transform，SIFT） 2）加速鲁棒特征算法（Speeded-Up Robust Feature，SURF）,场景的三维重建问题可总结为：从二维空间中的点估计相机的位置、投影矩阵以及恢复场景在三维空间中的点。,（2）图像特征点匹配 在特征点提取完成之后，就需要对立体图像进行特征匹配，当前常用的特征点匹配算法： 1）归一化互相关技术（Normalized Cross Correlation Method，NCC） 2）最近邻算法（Nearest Neighbor-NN）,（3）去除误匹配 上述特征点匹配方法会产生许多错误点对，常用的去除误匹配算法为RANSAC（Random Sample Consensus）。其主要思想是：在模型参数估计中，为了消除异常样本，最直观的想法是找出一组不包含异常值的数据抽样来进行参数估计。RANSAC算法搜索M组数据，且M足够大，就可以认为在这M组中至少有一组不包含异常点，然后用这M组抽样数据分别估计参数，根据一定的评选标准，找出最优模型。利用最优模型根据一定的规则对其他数据进行筛选，确定最终模型参数。,（4）SFM算法 在特征点提取和匹配完成之后，可以用SFM算法得到稀疏的三维点云。 SFM（structure from motion）可以在不知道相机参数和场景三维信息的情况下通过迭代解出三维点云和相机矩阵。 SFM开源库： * OpenMVG http:/openmvg.readthedocs.io/en/latest/# * libMV https:/developer.blender.org/tag/libmv/ * VisualSFM http:/ccwu.me/vsfm/ * Bundler http:/www.cs.cornell.edu/snavely/bundler/,（5）利用VisualSFM得到的结果,02,点云配准,Do onething at a time, and do well. Never forget to say thanks”. Keep on going never give up. Whatever,很多时候，由于设备的显示，我们需要从不同角度拍摄图像，获取点云数据，从而才能得到目标的完整的点云。这些点云需要转换到同一坐标系下，这个过程被称为配准过程。对于两个点云来说，配准的目的就在于找到一个最优的几何变换使得两个点云数据在同一坐标系下最大程度的对齐融合。点云配准最常用的是最近点迭代（Iterative Closest Point，ICP）点云配准算法。,ICP算法的基本原理是：分别在带匹配的目标点云P和源点云Q中，按照一定的约束条件，找到最邻近点（pi，qi），然后计算出最优匹配参数R和t，使得误差函数最小。误差函数为E（R，t）为： 其中n为最邻近点对的个数，pi为目标点云 P 中的一点，qi 为源点云 Q 中与pi 对应的最近点，R 为旋转矩阵，t 为平移向量。,ICP算法原理,（1）在目标点云P中取点集piP；（2）找出源点云Q中的对应点集qiQ，使得|qi-pi|=min；（3）计算旋转矩阵R和平移矩阵t，使得误差函数最小；（4）对pi使用上一步求得的旋转矩阵R和平移矩阵t进行旋转和平移变换，的到新的 对应点集pi=pi=Rpi+t,piP；（5）计算pi与对应点集qi的平均距离； （6）如果d小于某一给定的阈值或者大于预设的最大迭代次数，则停止迭代计算。 否则返回第2步，直到满足收敛条件为止。,ICP算法步骤,（1）原始点集的采集 均匀采样、随机采样和法矢采样（2）确定对应点集 点到点、点到投影、点到面（3）计算变化矩阵 四元数法、SVD奇异值分解法,ICP算法重点问题,（5）ICP算法配准结果,03,后期计划,Do onething at a time, and do well. Never forget to say thanks”. Keep on going never give up. Whatever,（1）理解SFM算法完整过程（2）完成ICP算法及其优化算法的编程（2）了解PMVS算法，实现点云的稠密重建（3）学习点云空洞填补的算法,后期计划,04,参考文献,Do onething at a time, and do well. Never forget to say thanks”. Keep on going never give up. Whatever,1 Segal A, Hhnel D, Thrun S. Generalized-ICPC/ DBLP, 2009.2 Serafin J, Grisetti G. NICP: Dense normal based point cloud registrationC/ Ieee/ rsjInternational Conference on Intelligent Robots and Systems. IEEE, 2015:742-749.3 戴嘉境. 基于多幅图像的三维重建理论及算法研究D. 上海交通大学, 2012.4 张明明. 基于点云边界特征点的改进ICP算法研究D. 吉林大学, 2013.5 Du S, Zhang C, Wu Z, et al. Robust isotropic scaling ICP algorithm with bidirectional distance and bounded rotation angleJ. Neurocomputing, 2016, 215(C):160-168.6 解则晓, 徐尚. 三维点云数据拼接中ICP及其改进算法综述J. 中国海洋大学学报(自然科学版), 2010, 40(1):99-103.,参考文献：,2018,谢谢聆听,Lobal Standard,A designer can use default text to simulate what text would look like. It looks even better with you using this text. Whoever evaluates your text cannot evaluate the way you write. Your design looks awesome by the way.,
