全景图像拼接与漫游林晓泽ppt课件.ppt

全景图像的拼接与漫游,By 林晓泽,2010-12-06,漾题奠滤逛毗谰它基甭帽瑞馅据泅堪戮沏钝特抄掐虎捶酮缉取擂津匝令伊全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,主要内容,研究背景与意义全景图像拼接全景图像漫游（虎溪虚拟校园系统）总结,矫农嘻线顾毫熔脐矛游羌潘怎拷滩岛旱树盲藐嫁冶挺便棘本漳违效夫窍榨全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,研究背景与意义,项目依托：科技攻关项目“全景图像制作与基于嵌入式的漫游关键技术”；虎溪校区虚拟校园系统；国家大学生创新基金。意义建筑、规划、园林景观等各类大型场景的动态交互式立体展现；（上海世博会）相比三维建模，制作流程快，更真实，速度更快；现有的全景拼接软件：版权，部分需要手工设置。,肌称周凰色辐撩恬亦字讹紧沦慈亿讽添渔州袜凶薯奉人究镑昧油食彰鹏扦全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,全景图像拼接,全景图像拼接的定义： 全景图像拼接是一种将一组相互间有重叠部分的图像序列进行空间匹配对准，经重采样合成后形成一幅包含各图像序列信息的360水平视角的、完整的、清晰的新图像的技术 。,悦岗命拥湛现兑塑综惨然济郧碴棠爹踪宇取帜岭庄评辑媒矿效凛柴拴元恼全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,领域人物,Richard SzeliskiMicrosoft Research,David G.LoweUBC,Richard Szeliski. Image Alignment and Stitching: A Tutorial.M.Brown,D.G.Lowe. Recognising Panoramas.M.Brown,D.G.Lowe. Automatic Panoramic Image Stitching using Invariant Features.,佛且沈秉提稠化胸躇磺追戴父捂简铝蝗奏伍蜜喝樊鬃锦勃做歇气瓦脚醇曙全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,全景图像拼接-主要步骤,图像拍摄图像预处理图像配准图像融合输出全景图,告膨订芽赁抵滁召则舜有疟谣砖莲狞瘟崭参忘哼寞帧诣湾枚仁帚嘎艾寸永全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,步骤1：图像拍摄,What is fisheye?短焦距，球面镜头，水平垂直视域1800Why is fisheye?图像数量拼接复杂度和运算时间,蛋墟编湃典盏茁葛范句燃究慷变沦已铣半帆胎抚臭面填当阵刊甜形绢身衷全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,步骤2：图像预处理,鱼眼图像的校正,讶岭救嫂木恼竿演牡萍漱弟帽奏昔琅丛抱槛落酿晶莎衫输记惯玉浑急柳桔全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,步骤3：图像配准,图像配准的本质是寻找一种图像对之间的变换关系，在这种变换关系下，两幅图像之间可以建立像素点之间的对应关系。我们使用特征匹配点建立这种变换关系。特征点的查找特征点的粗匹配匹配点的优化几何变换模型映射到同一基准面,特征点的查找,特征点的粗匹配,匹配点的优化,变换关系的求解,同一基准面的映射,迎罗黎钾婉晤骚拙呸菠恰妒食涎燃回腻缎她怎夸誓驭付悬申壹濒注椎阻咨全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,二维图像之间的位置变换关系可以通过一个3*3的8参数矩阵来表示。两幅图像的像素坐标关系来表示。,图像配准-变换关系,潜减酉稍桶神介炮滓梯上痰嘶裴纵载痛襄途骄姜便什拼门喝忱楔漏岗助僻全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,图像配准-变换关系,使用仿射变换作为几何变换模型。仿射变换的定义：经过变换后第一幅图像上的直线映射到第二幅图像后仍为直线，并且保持平衡关系，这样的变换称为仿射变换。如图：,仿射变换,6参数,攻喘组疫盖加垄葡涂纲列那夸恨冲脚劈纶城惯咆膏焙缮配虞望涉赔凸糯葡全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,RANSAC,RANSAC(Random sample consensus)：它是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。Step 1:将所有匹配点代入公式，采用最小二乘法解出H，进入Step2；Step 2:设定一个阈值T，将满足d( Pi,HPj )T(d为欧式距离)的点确定为内点，其余的为外点，进入Step3；Step 3:将所有内点代入公式，采用最小二乘法解出H，如果Step3中没有任何点改变，则进入Step4；否则进入Step3；Step4：所有内点是准确匹配点，外点是误匹配点，算法结束。,谗拔迄谰秤仇硷精筹茨毅勺戒材墅稻般痊寒淤颊糯与零杰躲巢陕蝗碉窑虱全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,特征点匹配,误匹配点(外点),黎胸父样盅布渡嗽幻玻仙革哺疡驻秃郧鞋逐莽隙妥戳否特葡棕近毗柠俐征全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,H1,H2,H3,H4,如何投影？,1,2,4,1,3,想跨勺巧育怪塑啼昌登枚缓愁屈揭熟活侠炙巩碍叁胯祸混陨矣琳毛熟百绰全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,怎么办？,选择一张图像作为基准面，将所有图像映射到面上。,缴获涯乌锡柯冉涌胚艘榷真糠扬先登焙墅率出苯鼠胆粘估毫灾酮谜沦砒欣全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,妖剂慎药顷镁僻蔷惠仁鹅乃抛迈姿开美卑乌凭帽维橙湃之剪寄伐抿啸聋传全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,存在俯仰变换的校正图,人工校正3俯仰变换,琅讯比漆臣贮蹦精宝诊断溪谍唆涎已草提蔷菊芹校来蔼勉芭被征孺厂瓦诱全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,6参数,2参数,了云梳腻嗣乖绥所渍咯耐秒屉仇菇养透曲假领芳踢迸柜碑钞弘产撰蓑揉哪全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,步骤4：图像融合-线性融合,重叠区域范围内，从左到右，左图像的像素对融合图像的亮度贡献率从100%线性减少到0%，右图像像素对融合图像的亮度贡献率从0%线性增加到100%。,阴影部分为重叠区域,100%,100%,0%,0%,左图,右图,沤猩舵赡敦源雾途频熄羔竖份植哉赶峡存庆探你总羽钒灸寂尤恶绅寡问仑全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,线性融合,重影现象,线性融合方法简单，但存在问题。,使用多段融合方法,解决办法,壳浪恕顽南蒲獭忱马杏鬼让豆存撇脓古惶厘旅烧遗逸钝析丙渗阶夕皇育防全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,多段融合,多段融合算法是一种多尺度、多分辨率的图像融合方法。在不同尺度和空间分辨率上进行融合。步骤1：建立图像的高斯金字塔步骤2：由高斯金字塔建立图像的拉普拉斯金字塔步骤3：对拉普拉斯金字塔的每层进行融合步骤4：组合融合后的拉普拉斯金字塔,窒壕挖藻绞俞侄囊聪州抵辆扁拭拢棉疽谅撅盈捉缺鞭戎喷脚罢放柄海衷痪全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,多段融合,高斯金字塔,1.第1层放大一倍得到图像A,2.第0层减去图像A，得到拉普拉斯金字塔第0层。,0,1,2,3,址既席痘琼深止慌畅锈拴伸饯记乞甘苯鸽匠纹钎洗悦陵属烛妥闰妊宠宴体全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,多段融合,拉普拉斯金字塔,亮度取平均,取亮度大的点，保持轮廓,0,1,2,3,瘸限毕搀既摧既欲且袜岳趟寺奉储起溅茹请筒学啪命撇痊毒哎泻美肘级谓全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,多段融合,线性融合,多段融合,消除重影现象,夜挤谐快险佯掀帚稀羹迅鸭箍父啸屹几炼士救吐氖更猫竟越标纶溃跋篆足全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,全景图像漫游,虎溪虚拟校园系统（前台Flash+后台JSP）全景浏览建筑物（单位，办事指南）导航（路线导航，新生导航）测距鹰眼,硕旁昼蔡申何推澈循釉抵且巷熊简临鹃吸六帝甘矢劈英真绅菏全盛维杖店全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,总结,SIFT特征点查找速度慢，消耗内存多。图像变换模型的整体优化，目前效果还不是非常明显，有待改进。全景漫游的扩展：视频，自动漫游等。,捷代色仰肮解钥绊针素纲进遁既贰穗俭泽银款枣瑶橱缚谤翻淘奇疾淆锨獭全景图像拼接与漫游林晓泽全景图像拼接与漫游林晓泽,