虚拟视图的创建问题翻译论文.doc

虚拟现实可以成为一个中等的娱乐大用处教育如果它可以将真实事件的记录。虽然工作已经进入合成环境对应的同行在房世界上，很少有人试图把真实的人和事，在这样的环境中。实现这一个感兴趣的事件，必须如实捕获的实时传感器，如视频。从这个记录，然后必须忠实的数字化复制创建这样的原始性能可以使用标准的计算机图形的方法和从任意角度观看了。我们提出了一个用于生成和再现逼真的三维数字视频系统真实的事件和性能。3D视频的体现录像的真实性和三维图形的交互（见图1）。本系统采用多视角视频互动MPI视频），为分析基础和管理，和交互式访问，多摄像机监控动态变化的场景，如足球比赛。相关的工作虚拟视图的创建问题，或查看真实场景的合成或插值，有近年来受到越来越多的关注。目前的方法分为两类：基于图像和基于模型。图像域方法采用翘曲或变形技术，插值的中间视图从房图像。基于模型的方法首先恢复在真实场景的三维模型几何然后可以从所需的观点呈现。我们的方法属于后一类基于图像的方法最著名的图像域的方法苹果的QuickTime VR。2通过捕捉360度全景（柱面全景图像）的从一个固定位置的环境，你可以以交互方式绘制调整视图方向全景的对应部分。其他的方法使用图像变形。陈williams3确定摄像机变换与像素对应，然后使用变形生成的中间视图。史可江克刘4用已知的摄像机的位置获得深度信息和生成的虚拟视图。昌和Zakhor5利用得到的深度信息一个未校准的相机，“扫描”固定场景转换点在摄像机图像飞机上的虚拟视图平面。赛茨和戴尔6提出了利用单调性沿极线组成的物理有效中间的观点不完全对应信息的需要。最近的一些事态发展使用全光函数，它描述了光线在空间任一点可见。麦克米伦和主教7开发了一个基于图像的渲染系统使用一个5D表示与圆柱投影。Levoy和汉拉汉8和Gortler等。9used 4D虚拟视图合成配方的全光函数。一般来说，图像域方法需要更少的计算资源比三维模型的方法，但他们往往限制支持的虚拟视图到一个狭窄的范围内。基于模型的方法在一个高层次的，基于模型的方法对三维数字视频创作涉及三个过程。首先。一个事件或场景必须记录的多位于相机。我们的实验使用17周围的摄像机记录各种表演舞台区。以类似的方式，虚拟化现实（奏等。10六）使用八个摄像机，周围放置了一个半球形圆顶五米直径，在运动中记录一个演员。福斯等铝。11用多台摄像机获取的图像数据安装在一个小环境，如会议室。相比之下，Tseng和anastassiou12用于图像捕获的同时，由一组等距平行轴相机，在垂直和水平的阵容下一步提取利用计算机视觉技术环境的三维模型。现有的方法使用深度图为2.5D场景的几何表示。一些研究人员10-12have使用立体声的方法来计算随时间变化的深度图。我们的统集中在三维形状的准确恢复一个量或前景物体的动态占用率的方法。在生成三维数字视频的最后一步是从一个视图渲染得到的模型虚拟摄像机。在奏等描述的系统铝。10和福斯等人。，11基于立体视觉的深度与相应的图像的像素已经对齐。前者使用深度图从最近的相机，基于浏览器的的位置，来渲染场景。后者的更新，保持，并显示所获取的深度图对于观众的当前位置和方向。同样，Tseng和anastassiou12通过插值生成的虚拟图像的扫描线的真实看法基于视差信息扫描线。通过比较，我们的方法创建真正的3D用细多边形模型，分别着色（因此不需要纹理渲染支持），并观察位置不起作用建模过程。我们可以使用3D模型标准对象格式如VRML（虚拟虚拟现实建模语言）通过互联网和以VRML浏览器（参见图2和图3）。我们的方法是更适合在客户端-服务器的情况下，不像早期的方法，真实的观点不需要传输到客户端，大大降低了所需的带宽。三维数字视频制作和播放我们的系统，身临其境的视频，13将一个给定的场景的多个视频流到逼真的三维动态模型序列的互动观察（如图1所示）。涉及的各个阶段包括数据采集，摄像机标定，对象分割，三维模型的创建，颜色拼接，和交互回放。在数据采集，多角度的摄像机记录下现场。摄像机标定，确定所有摄像机的位置和方向在全局坐标系统，从而有利于吸收对象信息从所有的摄像机视图。目标分割方法计算的动态物体的投影每一帧，每个镜头。用于同步视频帧的每一集，模型的建立对所有动态物体的三维形状的场景。彩色镶嵌“油漆”这些随时间变化的三维几何模型转化为现实的复制实际的物体。由此产生的3D视频序列然后，从虚拟摄像头，观众可以在播放控制交互渲染。每个阶段的详细的解释遵循。数据采集数据采集包括记录事件从适当的角度。重要的问题包括：摄像机，视频同步，场景照明，相机校准。相机的位置形状的影响测定。我们的经验表明，以下因素：相机应设置给，作为密切尽可能的场景，完全覆盖这样的场景的任何部分是可见的由两个或多个摄像机。相机应均匀地分布在一些虚球覆盖的中心有趣的对象的最大分辨率形状测定的功率，为后文的论述。精确的同步帧从所有摄像机的最终质量起着至关重要的作用结果。我们发现很容易在录音使用一个事件可见的所有常见的时间提供参考实现视频同步相机（比如把灯关掉，）。在早期的实验，13我们记录的户外室内的事件不考虑照明。在分离的前景问题从背景的动态对象的LED我们尝试工作室设置（图4和图5），在那里我们可以控制光照促进对象的分离（在我们的例子中，从演员）背景。简化的前景背景分离的一个可能的方法是强烈地照亮演员在现场（如图所示图5）。强烈的灯光使较小的相机孔径，从而减少背景照明对象，如墙壁，相机，三脚架，等等将不会出现在录音。相机必须还可以白平衡；这种校准颜色所有摄像机参数，一个重要的问题最终的彩色三维框架的准确性。在数据采集，校准的目的，已知的几何形状的对象必须放在场景。从每个摄像头获得的图像这个对象可以确定提供依据每个摄像机的位置和方向。摄像机标定外部校准确定摄像机的位置和方向相对于一些世界坐标系统。准确的结果，临界吸收信息从多个相机，因此准确地确定物体的形状和颜色。摄像机标定需要一套图像点的世界坐标的已知。在我们的方法中，相机放置在所需的位置是固定的需要进行校准一次。我们用Tsai共面校准算法，14这至少需要五个点和他们的3D世界坐标。在一个网格点校准的对象（如一个单位立方体标记），放置在现场记录的所有相机，可以用于此目的的。我们的互动式校准软件允许我们手动选择相应的图像和模型点每个相机获得他们的位置，轴线旋转和俯仰角，相对于一个参考世界坐标系统。为每个摄像机的结果的准确性通过绘制校准对象的研究从计算的位置和取向在实际的叠加绘制图像。重大的错误经常发生在前几次，所以一点几次迭代选择和验证的过程需要得到满意的结果。对象分割目标分割阶段，每个从所有可用的数字序列的帧相机是处理和图像区域的归属前景物体的计算。前景通过计算不同检测对象当前帧和背景之间的框架。对于一个给定的相机，该背景帧代表由摄像机捕获的场景当没有动态对象的环境中。这个过程的结果在一组二进制指示对象与背景图像。工作室的环境控制安装程序可以被利用来获取视频序列产生高度精确的二值图像。理想的情况下，出现均匀的黑色背景，虽然前景对象具有高强度的颜色，可以明确地确定。这理想条件的仔细控制的结果照明和背景材料。模型的建立鉴于所有的相机和同步二进制帧通过上述方法计算的位置和方向，我们现在可以恢复物体的形状，在每个时间实例。我们使用一个体积交集法重构物体的三维形状。我们分体包围场景分成小的元素（像素），然后对每个帧迭代通过确定在所有体素那一瞬间的体素被对象（图6）。该算法，图7中给出的，假定所有体素最初占领。对于每个像素，我们计算对应的像素的位置（x，y）在每个摄像机的图像平面。检查二值图像，我们确定是否（x，y）的一部分的对象或背景。在我国目前的算法，如果一个像素映射到背景（空的）任何二进制图像的像素，像素是宣布“空”。假设完美的摄像机标定，该方法准确地检测出所有占据的体素，但不是所有的空的。因此，我们的模型可以包含实际占用更多的体积比。我们可以消除这种“额外”的体素通过使用深度图的立体方法计算。这种形状的确定算法是非常校准误差敏感。小偏差摄像机参数可以翻译成“损失”许多实际占用的体素。在未来，我们计划用统计的方法，建立一个更强大的方法。另一个不足之处方法是：它不能消除像素内一个对象的凹部。因为这样的地区被遮挡的所有可用的相机视图，他们还标有“占领”后的体积交叉口。好相机的分布和范围将使这个问题最小化和最大化为了解决像素占用正确的能力。该算法可以被调谐的速度和质量，通过调整模型的体素的大小。我们可以快速显示物体的形状，使用大的体素或使用小的体素建立精确的模型计算时间较长。这个可定制让我们来构建适合各种型号从低分辨率的视频游戏中的应用高分辨率的3D电影。例如，对于一个100万×100万×200万卷涵盖17个摄像机，采用高性能的图形工作站（如作为一个SGI Onyx公司现实引擎2），我们可以计算在不到30秒的5厘米的体素模型。一个高质量的1厘米的模型需要大约15分钟。在确定所有的场所，我们有一个设置填充体素的。因为我们感兴趣的的形状，我们可以忽略的信息对体素内部对象的减少数据大小。一个内部的体素的消除方法，移动立方体15算法，它同时将模型为三角形的表面表示的体素。我们再画形状模型，是基于体素或表面，使用彩色镶嵌彩色图像拼接画一个三维模型方法采用真正的相机图像作为纹理映射到模型。我们前面的work13说明方法可以生成逼真的渲染，但需要高性能的强大的纹理映射的硬件支持的图形。使三维视频播放实用的通用机和消除需要将原来的相机每一位客户流（其中需要大量的带宽），我们决定颜色信息进行编码元素（像素或三角形面）的三维模型，可以对系统的简单的渲染基于三维图形的多边形。使用小三角形或体素，我们完全可以在捕获的原始纹理真实图像。恢复形状模型的颜色，我们需要建立的形状之间的对应的模型在摄像元件和像素图像。一个幼稚的方法将迭代通过计算所有元素他们对每一个摄像机的图像平面投影，和在无遮挡的情况下，像素将产量适当的颜色值。投影计算咬合检查是昂贵和缓慢的过程。加快颜色测定，利用高速图形硬件和转视频内存缓冲区为数据处理。我们的方法，如图8所示，首先分配每个元素的唯一索引，然后映射在RGB颜色空间中一个点（为算法，见图9）。每个元素是唯一彩色的RGB值。每个摄像机我们呈现的形状模型从相机的观点并保存生成的图像在内存中。比较每个渲染与相应的真正的相机图像像素的像素，我们可以确定什么形状的元素出现在某些像素，这反过来又使元素的适当的颜色。为基于体素的模型，我们可以消除不呈现任何相机视图体素，因为他们是不可见的（也就是说，他们是内部对象）。一个问题在色彩拼接过程涉及如何合并多个颜色信息当一个元素在几台摄像机可见。一个一些可能的方法。每个元素可以平均颜色或选择相机基于某种程度的“亲密”。例如，我们可以使用相机视图中以最小的正常的角度（相机接近直接面对元）或最近的距离。在尝试不同的方法，我们得到的用面积加权平均的最好的结果，或平均颜色信息从不同的相机，采用面积加权。就是说，如果一个元素在相机视图平面面积大，所从这个相机的色彩信息应更准确和更重。这方法具有模糊的不连续性，效益在相机覆盖边界由于色彩平衡误差。彩色图像拼接是一个通用的算法和的作品以及为体素和表面模型。唯一的限制是它的颜色深度视频内存。24位显示，它可以处理高达2的24次方元素，我们认为这是超过对于大多数的三维场景模型的必要（在我们的实验中，高分辨率模型的人只包含70000个元素）。交互回放一旦个别框架模型可用的，它们可以像对待普通的3D图形渲染的对象和标准图形库。一个简单的计划，实时重放涉及加载到内存和之间切换帧以可控的速率，一利用Open Inventor的浏览器支持的功能。在三维视频播放的许多问题仍然没有得到解决；我们讨论在本文的后面。实验结果根据实验设置，我们选择了一个电视演播室因为环境可以精确控制。我们设置灯光集中2M×2m区域以外的地区出现黑暗，促进良好的分割。我们安排17台摄像机完全覆盖，周围从左，右，前，后的区域，和顶部。一个空手道选手担任我们的视频对象并进行不同的动作，我们指定的区域内。我们的数字化八秒钟的视频，我们然后进行对象分割。我们手动纠正某些帧清理的影子和反射的影响。C+程序使用Open Inventor库实现模型创造和色彩拼接过程产生的240的三维模型。由此产生的3D序列被视为与标准Open Inventor和VRML浏览器，如空间（见图3）并结合综合环境，如图2在一个虚拟的“舞台”提供了舞台对于3D性能。图10比较了模型和一个选择框真正的相机视图。虽然一些如果你仔细看文物是显而易见的，模型的捕捉原始细纹理细节图像。这些结果证明了成功我们的方法和三维数字视频的潜力。为了评估我们的结果，我们的质量比较，每个摄像机，真实的图像和相应的虚拟视图。通过计算在含有面积失配率虚拟图像，我们得到一个测量中的错误3D模型。这种测量范围从百分之5到29百分之。最坏的结果是发现在顶广角视图。关闭的观点给小于百分之5的误差测量。大多数错误包括缺件或之间的转换该模型和真实图像和来自在数字化问题（在水平的变化介绍了帧间），校准，和分割。因此，特写镜头是最好的精确的三维模型的构建。使用专业工作室和设备（如TBC，或时基校正器）也可以减少误差源。待添加的隐藏文字内容3探讨制作3D视频应用中要求降低复杂度和数据量。在特别是，我们必须解决问题的模型表示，绘制速度，和时间压缩。重要的权衡之间存在基于模型和表面体素。图形硬件趋于渲染表面优化。在Open Inventor的格式，我们使用，体素在比较过程中的开销和存储模型的结果空间比表面模型。体素的好处之一，然而，就是简单的优势时考虑压缩。在传统的数字视频，数据规模一个重要的问题。在1厘米的体素的分辨率，在任何姿势单个人的模型有约17000点，或70000个三角形。假设30帧每秒，存储需求迅速到达为3D视频的几秒钟的千兆字节规模这个人。由于相邻帧通常类似的，时间压缩可以在数据大小产生显著的节省。有三维数字视频压缩的几种可能的方法，如下。时间差异我们可以把时间上的差异的变化（增加或删除）连续帧之间。这种方法是很容易适用于基于体素模型。二维切片。切片的三维模型沿Y轴让我们每个yvalue 2D图像。然后我们可以简单压缩这些图像使用常规方法如JPEG或MPEG。另一种可能性是计算边界矩形（或多边形）每片。我们可以发送在矩形的层次结构表示的对象的相关信息。二维切片的一个优点是，我们可以用时间相关（对连续帧同一片）或空间相关（对邻近片）压缩。这种表示也让我们创建一个数学函数近似的轮廓和代表它作为一个数学曲线。在三维域变换。考虑到像素的像素的三维等效，我们可以应用域变换三维阵列确定一个量化编码器，将允许一个可伸缩的显示。然后，如果我们决定只传输一粗表示我们的模型显示在慢的机器，我们可以只传输低频参数。JPEG和MPEG的方法是很好的候选人，但可能浪费了大量的时间发送编码的空空间因为包围盒中模型计算本身含有大量的空空间。它可能是更有效地使用3D小波变换和零树coding16而不是。高效的数据组织。我们可以用指数表和存储颜色指数而不是完整的颜色。另一种方法是使用量化减少色坐标值所需的比特。几何压缩方法包括有损压缩绕坐标和多边形网格简化。在选择压缩和表示方案，一个不容忽视的问题解码和渲染速度的选择方案是一个图形硬件架构功能。体素，可以更容易地压缩，但多边形的面有多体素的优势在图形工作站访问的渲染速度我们的。理想的方案来支持快速解码而产生表示可以通过快到图形管道和渲染实时视频性能结论和未来的工作我们的3D数字视频系统创造现实随时间变化的三维模型序列从多个视频流。3D序列允许的原始动态对象表示和支持的观众互动的新类型。这新媒体具有革命性的潜力在互动电视的使用视频，视频游戏，和娱乐业。许多问题仍然存在，我们希望解决未来的研究。高优先级是合适的时间压缩技术的发展为了减少数据大小的方案。三维数字视频编码和解码将需要更多的研究标准化和规范化，但我们相信的好处这样的努力。