景物恢复多图象.ppt
章毓晋(TH-EE-IE),第7章景物恢复：多图象,7.1单目景物恢复7.2光度立体学 7.3从运动求取结构,章毓晋(TH-EE-IE),立体视觉：优点：几何关系非常明确缺点：需要确定双目图象中的对应点 单目图象（可单幅或多幅图象）恢复景物“从 X 得到形状”（shape from X）这里 X 可以代表阴影、轮廓、纹理、运动基于多幅图象：不同光照，光流,7.1单目景物恢复,章毓晋(TH-EE-IE),景物亮度和图象亮度 表面反射特性和亮度 目标表面朝向 反射图和 亮度约束方程光度立体学求解,7.2光度立体学,章毓晋(TH-EE-IE),一个点光源的辐射亮度（景物亮度）和图象上对应点的照度（图象亮度）之间的关系,景物亮度和图象亮度,章毓晋(TH-EE-IE),由两个立体角的相等可得（P.151152）：图象照度E是与所感兴趣的景物亮度L成正比的，并且与镜头的面积成正比，与镜头焦距成反比,景物亮度和图象亮度,章毓晋(TH-EE-IE),景物的亮度L不仅取决于入射到景物表面的光通量和入射光被反射的比例，还与光反射的几何因素有关，即与光照方向和视线方向有关：,景物亮度和图象亮度,表面面元的法线,一条光线,极角,方位角,参考线,章毓晋(TH-EE-IE),双向反射分布函数BRDF：f(qi,fi;qe,fe)照度和亮度的比值双向反射分布函数关于入射和反射方向是对称的,景物亮度和图象亮度,章毓晋(TH-EE-IE),两种极端的情况：理想散射表面：朗伯（Lambertian）表面或漫反射表面，从所有观察方向看它都是同样亮的（与观察线和表面法线的夹角无关），并且它完全不吸收地反射所有入射光,表面反射特性和亮度,章毓晋(TH-EE-IE),理想散射表面被具有照度E的点源照明时的亮度 散射面反射的朗伯定律一个理想散射表面受到均匀照度E,表面反射特性和亮度,章毓晋(TH-EE-IE),理想镜面反射表面：反射光的波长仅取决于光源而与反射面的颜色无关 将所有从(qi,fi)方向射入的光全部反射到(qe,fe)方向上,表面反射特性和亮度,章毓晋(TH-EE-IE),用切面的朝向来表示表面在该点的朝向 切面的朝向可用表面的法线矢量来指示目标表面可用与镜头平面（与象平面平行）正交的距离z来描述,目标表面朝向,章毓晋(TH-EE-IE),用偏微分参数化表面朝向平行于矢量rx=1 0 pT的线过切面的(x,y)处平行于矢量ry=0 1 qT的线过切面的(x,y)处,目标表面朝向,章毓晋(TH-EE-IE),目标表面法线和镜头方向间的夹角qe 目标相当接近光轴，则从目标到镜头的单位观察矢量可认为是0 0 1T 如果目标表面的法线可用ps qs 1T表示 光源光线的方向可用梯度(ps,qs)来指示,目标表面朝向,章毓晋(TH-EE-IE),点光源照射一个朗伯表面 将R(p,q)作为梯度(p,q)的函数以等值线形式画出而得到的图称为反射图,反射图和亮度约束方程,章毓晋(TH-EE-IE),朗伯表面反射图示例ps=0，qs=0，ps 0，qs=0，ps 0，qs 0嵌套的同心圆 椭圆或双曲线 双曲线,反射图和亮度约束方程,章毓晋(TH-EE-IE),各向同性辐射表面等值线现在是平行直线,反射图和亮度约束方程,章毓晋(TH-EE-IE),亮度约束方程在图象中(x,y)处象素的灰度I(x,y)取决于该象素由(p,q)所表达的反射特性R(p,q)照度E(x,y)正比于灰度I(x,y),反射图和亮度约束方程,章毓晋(TH-EE-IE),朗伯表面的球体,反射图和亮度约束方程,章毓晋(TH-EE-IE),恢复出原来成象物体的形状 从由p和q所确定的表面朝向到由反射图R(p,q)所确定的亮度间的对应关系是唯一的，但反过来却不一定。实际中常有无穷多个表面朝向可给出相同的亮度，在反射图上这些对应相同亮度的朝向是由等值线连起来的 对一个朗伯表面来说，只有当(p,q)=(ps,qs)时才有R(p,q)=1，所以给定表面亮度就可唯一地确定表面朝向,光度立体学求解,章毓晋(TH-EE-IE),一般情况：在每个空间位置亮度只有一个自由度（亮度值），而朝向有两个自由度（梯度值）从图象亮度到表面朝向的对应并不是唯一的采集两幅图象（不同光线）,光度立体学求解,章毓晋(TH-EE-IE),方程线性独立，那么对p和q有唯一的解 只要p1/q1 p2/q2,光度立体学求解,章毓晋(TH-EE-IE),光流和运动场 光流方程求解 光流与表面取向,7.3从运动求取结构,章毓晋(TH-EE-IE),运动可用运动场描述，运动场由图象中每个点的运动（速度）矢量构成,光流和运动场,章毓晋(TH-EE-IE),光流：亮度模式的运动 光流有三个要素：(1)运动（速度场），这是光流形成的必要条件(2)带光学特性的部位（如有灰度的象素点），它能携带信息(3)是成象投影（从场景到图象平面），因而能被观察到,光流和运动场,章毓晋(TH-EE-IE),表观运动?（图象灰度不随时间变化）在时刻 t 有一个图象点P具有亮度E。在t+dt时，P对应哪个图象点P 呢？仅靠变化图象中的局部信息并不能唯一地确定光流,光流和运动场,章毓晋(TH-EE-IE),光流方程（推导见中册）其中fx，fy和ft分别表示图象中象素灰度沿X，Y，T方向的梯度如果一个固定的观察者观察一幅活动的场景，那么所得图象上某一点灰度的（一阶）时间变化率是场景亮度变化率与该点运动速度的乘积,光流方程求解,章毓晋(TH-EE-IE),光流计算：刚体运动,该直线上各点均为光流方程的解,仅一个光流方程并不足以唯一地确定u和v两个量,光流方程求解,章毓晋(TH-EE-IE),光流计算：刚体运动 将所研究目标看作无变形刚体 光流速度的空间变化率为零,光流方程求解,章毓晋(TH-EE-IE),光流计算实例,光流方程求解,章毓晋(TH-EE-IE),光流计算：平滑运动 在图象的大部分地方运动场变化一般比较缓慢稳定 最小化一个与平滑相偏离的测度,光流方程求解,es+lec,章毓晋(TH-EE-IE),光流计算：灰度突变从路径看灰度变化 从时间看灰度变化,光流方程求解,章毓晋(TH-EE-IE),光流计算：基于高阶梯度 考虑图象本身在灰度上的连续性（即考虑图象灰度的高阶梯度）,光流方程求解,章毓晋(TH-EE-IE),光流计算：基于高阶梯度将上5式代入光流约束方程,光流方程求解,章毓晋(TH-EE-IE),光流计算：基于高阶梯度,各项独立,光流方程求解,章毓晋(TH-EE-IE),光流包含了场景结构的信息,光流与表面取向,章毓晋(TH-EE-IE),任意运动点的光流(d,e)=(df/dt,dq/dt)为该点在图象球坐标系中沿f 和q方向的角速度 观察者以速度S沿Z轴（正向）运动,光流与表面取向,章毓晋(TH-EE-IE),r/r=tanDq Dq，r/Dr=tans 确定s 和t,光流与表面取向,章毓晋(TH-EE-IE),光流与表面取向,章毓晋(TH-EE-IE),通信地址：北京清华大学电子工程系 邮政编码：100084 办公地址：清华大学东主楼，9区307室 办公电话：传真号码：电子邮件：个人主页：实验室网：,联 系 信 息,
