基于三维点云的室内结构化三维重建课件.pptx

《基于三维点云的室内结构化三维重建课件.pptx》由会员分享，可在线阅读，更多相关《基于三维点云的室内结构化三维重建课件.pptx（19页珍藏版）》请在三一办公上搜索。

1、,基于三维点云的室内结构化三维重建,基于三维点云的室内结构化三维重建,研究背景Research Background,研究目的Research Purpose,研究方法Methods,实验结果Research Result,目录,结论与展望Conclusions,01,02,03,04,05,研究背景研究目的研究方法实验结果目录结论与展望0102030,1,城市空间的扩张交通压力 土地资源 环境保护人类生活（衣食住行）室内空间人类经济和社会生活的主要场所 人类生活相关的室内服务的需求室内三维模型,研究背景,3,1城市空间的扩张研究背景3,1,研究背景,三维点云数据获取基于多视图像获取三维点云

2、激光点云获取技术深度相机,4,移动测量技术的发展室外车载、机载LIDAR（GNSS） 室内移动测量平台手持SLAM（GeoSLAM, Tango） 背包SLAM,视觉（单目相机，双目相机，RGB-D深度相机） 激光（机械旋转激光，固态激光）,GeoSLAM,Tango,1研究背景三维点云数据获取4移动测量技术的发展视觉（单目相机,1,三维重建多视图三维重建 激光SLAM技术 Visual SLAM,研究背景,无人机摄影测量,SFM+MVS多视图三维重建,5,1三维重建研究背景无人机摄影测量SFM+MVS多视图三维重建,1,三维重建多视图三维重建 激光SLAM技术 Visual SLAM,研究背

3、景,Cartographer采集的场景点云,6,1三维重建研究背景Cartographer采集的场景点云6,1,三维重建多视图三维重建 激光SLAM技术 Visual SLAM,研究背景,OrbSLAM2采集的场景带颜色点云,BundleFusion重建结果示例,通常所说的三维重建结果：稀疏点云稠密点云Mesh网格,7,1三维重建研究背景OrbSLAM2采集的场景带颜色点云Bun,2,研究目的,为什么要结构化？点云数据数据量大，信息冗余获取的点云数据存在遮挡和不完整网格模型显示效果不美观缺乏语义信息，无法满足某些应用现有方法及存在的问题机器人领域基于栅格图像的房间分割 形态学方法，Vorono

4、i图方法，距离变换方法，基于学习的方法ACE领域As-built BIM，空间划分，图割方法生成房间平面图点云处理方面，单纯的平面分割，或者点云语义分类的研究 存在问题：没有充分利用建筑物室内结构约束，导致房间分割失败没有对室内连通空间进行建模不适用大规模室内场景,8,2研究目的为什么要结构化？8,3,研究方法,Room space,Indoor space,Free space,Occupied space,Corridor,Wall opening space (e.g., doors and windows),(Walls),Connection space,室内空间和结构约束,室内结构

5、约束的两个层次：几何层次和语义层次,室内空间,曼哈顿空间假设,弱曼哈顿空间假设,9,3研究方法Room spaceIndoor spaceFre,3,研究方法 （技术路线）,10,3研究方法 （技术路线）10,3,研究方法,点云平面分割 采用一种基于正态分布变换（Normal Distribution Transformation，NDT）的随机一致性 平面提取方法。该方法采用首先用NDT分布作为点云的空间表达，将点云离散化为体素单元，并 计算每个体素单元的NDT特征；接着根据设定的阈值提取主要的表现为平面的体素单元。然后结 合RANSAC方法实现点云平面分割。本方法可以最大限度的消除RANS

6、AC方法可能存在的虚假平面 问题，采样重权重方法拟合平面，提高平面拟合的精度和稳健性。,原 始 点 云 正 态 分 布 变 换 单元平面NDT和非平面NDT 点云平面分割结果Li, L.; Yang, F.; Zhu, H.; Li, D.; Li, Y.; Tang, L. An Improved RANSAC for 3D Point Cloud Plane Segmentation Based on Normal Distribution Transformation Cells. Remote Sens. 2017, 9, 433.,11,3研究方法点云平面分割原 始 点 云 正 态

7、分 布,3,研究方法,房间分割 通过自由空间证据地图进行房间分割，得到标记了房间属性的栅格图层。将点云进行平面 分割并选择墙面投影到二维平面，利用二维墙面线将平面空间进行分割得到矢量多边形单元。 通过叠加分析最终得到房间平面图。,Cell complex layer,Random sampling,Point layer,Extraction value,Point with evidence,Joins and statistics,Room Polygon layer,Room labelling layer,12,3研究方法房间分割Cell complex layerRa,3,研究方法,

8、房间平面图与属性信息提取对生成的面图层进行简化，提取每个房间的高度、面积等信息。,房间平面图,13,高程直方图,3研究方法房间平面图与属性信息提取房间平面图13高程直方图,3,研究方法,墙面标记利用激光和物体之间的位置关系，对扫描墙面进行标记，生成证据栅格图。,占用,遮挡,Free space,空白,14,3研究方法墙面标记占用遮挡Free space空白14,3,研究方法,门窗检测提出一种水平和垂直双向生长的门窗提取算法。,15,3研究方法门窗检测15,4,实验结果,数据集,两个合成数据集，两个真实数据集。,Test Sites,Total Frames,Table 1. Descripti

9、on of the datasets.Length (m)Width (m)Height (m),Points,评价指标,U,= ea,f ee eaf U,RDM = ( a ),a,AAD = |ea ea|, eee,=, + N,ee,= + ,16,4实验结果数据集两个合成数据集，两个真实数据集。Test S,4,实验结果,(a),(b),(c)(d)Figure 12. Synthetic-1 dataset. (a) Original point clouds, the trajectory is shown in red. (b) Plane segmentation and

10、fusion result; (c) Semantic decomposition of room space and floor plan; (d) 3D indoor model.,(a),(b),(e)(f)Figure 14. Real world dataset-1. (a) Original point clouds; (b) Plane segmentation and fusion result; (c) Semantic decomposition of room space and floor plan; (d) 3D indoor model.,17,4实验结果(a)(b

11、)(c)(d)(a)(b)(e)(f,4,实验结果,TableT2a. bDlees4c.riDpteisocnriopftitohne trhoeomexpreecroimnsetnrutacltiroensuelvtsalfuoartitohnesrbeayl-uwsionrgldthdeatsaysnetthse. tic datasets.,of Rooms,Rooms,IoU,RDM (m),AAD (m2),818,0.0120.0090.0110.014,0.120.180.210.52,Test SitesTest Sites,TEolteaml Nenutmber,BDace

12、ktegcrtoeudndDetection,BackgroundDetection,TP,FPFN,Doors,7,7,63.6%,100%,Windows,7,7,44,00,63.6%,100%,Dataset-1,Rooms,55,-,Synthetic-1DaStyansetht-e2tic-2,Wall8Planes Ro1o8ms Wall Planes,6,-,98.4%1.3% 3599.4%0.6% 637,Test Sites,Element,Table 3. DescriptBioanckogf rthoeunstdructured wall oDpeetneicntg

13、ioenlement detection results.,Precision,Recall,Num.TPFPFN,Test SitesDataset-1,4,4,10,DEoleomrsent Windows,Num.10,9,6,1,8P0r.0ec%ision 60.0%,1R00e%call 90%,Synthetic-1Dataset-2,Doors,9,9,69.2%,100%,Windows,8,7,47,01,50.0%,88%,18,4实验结果TableT2a. bDlees4c.riDpte,5,结论与展望,结论本方法可以满足大场景多房间的室内结构化三维重建。构建的房间平面

14、图具有很高精度。门窗检测的查全率较高，查准率相对较低，和点云数据的噪声，稀疏性有关系。,展望多楼层环境下的室内空间划分与重建？更加复杂的室内环境下的建模问题？商场？本方法只采用了点云坐标，更多的线索，包括颜色，强度等信息。Li, L.; Su, F.; Yang, F.; Zhu, H.; Li, D.; Zuo, X.; Li, F.; Liu, Y.; Ying, S. Reconstruction of Three- Dimensional (3D) Indoor Interiors with Multiple Stories via Comprehensive Segmentation. Remote Sens. 2018, 10, 1281.,19,5结论与展望结论展望19,