虚拟现实技术概述(DOC 82页).docx

第一章 虚拟现实技术概述1什么是虚拟现实技术虚拟现实（Virtual Reality，简称VR）技术是20世纪90年代以来兴起的一种新型信息技术，它与多媒体、网络技术并称为三大前景最好的计算机技术。它以计算机技术为主，利用并综合三维图形动技术、多媒体技术、仿真技术、传感技术、显示技术、伺服技术等多种高科技的最新发展成果，利用计算机等设备来产生一个逼真的三维视觉、触觉、嗅觉等多种感官体验的虚拟世界，从而使处于虚拟世界中的人产生一种身临其境的感觉。在这个虚拟世界中，人们可直接观察周围世界及物体的内在变化，与其中的物体之间进行自然的交互，并能实时产生与真实世界相同的感觉，使人与计算机融为一体。与传统的模拟技术相比，VR技术的主要特征是：用户能够进入到一个由计算机系统生成的交互式的三维虚拟环境中，可以与之进行交互。通过参与者与仿真环境的相互作用，并利用人类本身对所接触事物的感知和认知能力，帮助启发参与者的思维，全方位地获取事物的各种空间信息和逻辑信息。2虚拟现实技术与三维动画技术的异同VR技术和三维动画技术有本质的区别：三维动画技术是依靠计算机预先处理好的路径上所能看见的静止照片连续播放而形成的，不具有任何交互性，即不是用户想看什么地方就能看到什么地方，用户只能按照设计师预先固定好的一条线路去看某些场景，它给用户提供的信息很少或不是所需的，用户是被动的；而VR技术则截然不同，它通过计算机实时计算场景，根据用户的需要把整个空间中所有的信息真实地提供给用户，用户可依自己的路线行走，计算机会产生相应的场景，真正做到“想得到，就看得到”。所以说交互性是两者最大的不同。下面来看一个应用的实例。房地产展示是这两个技术最常用的领域。在现在的应用中，很多房地产公司采用三维动画技术来展示楼盘，其设计周期长，模式固定，制作费用高；而同时在国内也已经有多家公司采用VR技术来进行设计，其展示效果好，设计周期短，更重要的是，它是基于真实数据的科学仿真，不仅可达到一般展示的功能，而且还可以把业主带入到未来的建筑物里参观，还可展示如门的高度、窗户朝向、某时间的日照、采光的多少、样板房的自我设计、与周围环境的相互影响等。这些都是三维动画技术所无法比拟的。有关VR技术与三维动画技术的比较见表1-1。表1-1 比较项目VR技术三维动画技术科学性及场景的选择性虚拟世界基于真实数据建立的模型组合而成，属于科学仿真系统。操纵者亲身体验三维空间，可自由选择观察路径，有身临其境的感觉 场景画面根据材料或想像直接绘制而与真实的世界和数据有较大的差距，属于演示类艺术作品。只能按预先假定的观察路径观看。实时交互性操纵者可以实时感受到运动带来的场景变化，具有双向互动的功能只能单向演示，场景变化的画面需要事先制作生成 空间立体感支持立体显示和三维立体声，具有三维空间真实感 不支持演示时间没有时间限制，可真实详尽的展示，性价比高 受动画制作时间限制，无法详尽展示，性价比低 方案应用的灵活性支持方案调整、评估、管理、信息查询等功能，同时又具有更真实直观的演示功能 只具有简单的演示功能3虚拟现实技术的发展简史VR技术的发展大致分为3个阶段：20世纪50年代到70年代末，是VR 技术的探索阶段；20世纪80年代初期到80年代中期，是VR技术系统化、从实验室走向实用的阶段；20世纪80年代末期到达21世纪初，是VR技术高速发展的阶段。第一套具有VR思想的装置是莫顿。海利希在1962年研制的称为Senorama的具有多种感官刺激的立体电影系统，它是一套只能供个人观看立体的设备，采用模拟电子技术与娱乐技术相结合的全新技术，能产生立体声音效果，并能有不同的气味，座位也能根据剧情的变化摇摆或振动，观看时还能感觉到有风在吹动。在随后几年中，艾凡.萨瑟兰在麻省理工学院开始头盔式显示器的研制工作，人们戴上这个头盔式显示器，就会产生身临其境的感觉。研制者们于1970年研制出了第一个功能较齐全的HMD系统。美国的Jaron Lanier在20世纪律80年代初正式提出了Virtual Reality 一词。20世纪80年代,美国国家航空航天局(NASA)及美国国防部组织了一系列有关VR技术的研究,并取得了令人瞩目的研究成果。进入20世纪90年代后,迅速发展的计算机硬件技术与不断改进的计算机软件系统相匹配，使得基于大型数据集合的声音和图像的实时动画制作成为可能，人机交互系统的设计不断创新，新颖、实用的输入输出设备不断地涌入市场。4虚拟现实系统的构成典型的VR系统主要由计算机、应用软件系统、输入输出设备、用户和数据库等组成，如图1-1所示。图1-1 虚拟现实系统的一般构成1.计算机在VR系统中，计算机负责虚拟世界的生成和人机交互的实现。由于虚拟世界本身具有高度复杂性，尤其在某些应用中，如航空航天世界的模拟、大型建筑物的立体显示、复杂场景的建模等，使得生成虚拟世界所需的计算量极为巨大，因此对VR系统中计算机的配置提出了极高的要求。2.输入输出设备在VR系统中，为了实现人与虚拟世界的自然交互，必须采用特殊的输入输出设备，以识别用户各种形式的输入，并实时生成相应的反馈信息。3.VR的应用软件系统及数据库VR的应用软件系统可完成的功能包括：虚拟世界中物体的几何模型、物理模型、行为模型的建立，三维虚拟立体声的生成，模型管理技术及实时显示技术，虚拟世界数据库的建立与管理等几部分。虚拟世界数据库主要用于存放整个虚拟世界中所有物体的各个方面的信息。图1-2 典型虚拟现实系统的结构框图5虚拟现实技术的特征 VR技术有3个主要特征：沉浸性（Immersion）、交互性（Interactivity）和想像性（Imagination），如图1-3所示。图1-3（1）沉浸性沉浸性（Immersion）是指用户感受到被虚拟世界所包围，好像完全置身于虚拟世界中一样。VR技术最主要的技术特征是让用户觉得自己是计算机系统所创建的虚拟世界中的一部分，使用户由观察者变成参与者，沉浸其中并参与虚拟世界的活动。理想的虚拟世界应该达到使用户难以分辨真假的程度，甚至超越真实，实现比现实更逼真的照明和音响效果。（2）交互性交互性（Interactivity）的产生，主要借助于VR系统中的特殊硬件设备（如数据手套、力反馈装置等），使用户能通过自然的方式，产生同在真实世界中一样的感觉。（3） 想像性想像性（Imagination）指虚拟的环境是人想像出来的，同时这种想像体现出设计者相应的思想，因而可以用来实现一定的目标。所以说VR技术不仅仅是一个媒体或一个高级用户界面，同时它还是为解决工程、医学、军事等方面的问题而由开发者设计出来的应用软件。6VR技术的意义正是由于VR技术的广泛应用，并能够实现人与自然之间的和谐交互，扩大对信息空间的感知通道，提高人类对跨越时空事物和复杂动态事件的感知能力，把计算机应用提高到一个崭新的水平，其作用和意义是十分重要的。首先是在观念上的转变，它使人们对计算机的应用从“以计算机为主体”变成“以人为主体”。传统的信息处理环境一直强调的是“人适应计算机”，人与计算机通常通过键盘与鼠标进行交互，这种交互是间接的，非直觉的和有限的。而VR技术的目标或理念是要逐步使“计算机适应人”，人们要通过视觉、听觉、触觉、嗅觉以及形体、手势或语言，参与到信息处理的环境中去，并获得身临其境的体验。人们不必意识到自己在同计算机打交道，而可以像在现实世界中处理事情一样同计算机交流，这就把人从操作计算机的复杂工作中解放出来，使用计算机无需学习，操作也异常简单而方便。第二个转变发生在哲学中人们对“虚”和“实”之间的辩证关系的理解上。虚和实的关系是一个古老的哲学话题。我们是处于真实的客观世界中，还是只处于自己的感知世界中，一直是唯物论和唯心论争论的焦点。以视觉为例，我们所看到的世界，不过是视网膜上的影像。过去，视网膜上的影像都是真实世界的反映，因此客观的真实世界同主观的感知世界是一致的。现在，VR导致了二重性，VR的景物对人的感官来说是实实在在存在的，但它又的的确确是虚构的东西，而且按照虚构的东西行事，往往又会得出正确的结果。因此这就引发了哲学上要重新认识“虚”和“实”之间的关系的研究。7虚拟现实系统的分类在实际应用中，根据VR技术对沉浸程度的高低和交互程度的不同，将VR系统划分了解4种类型：沉浸式VR系统、桌面式VR系统、增强式VR系统、分布式VR系统。其中桌面式VR系统因其技术非常简单，需投入的成本也不高，在实际应用中较广泛。（1）桌面式VR系统桌面式VR系统也称窗口VR，见图1-4所示，它是利用个人计算机或图形工作站等设备，采用立体图形、自然交互等技术，产生三维立体空间的交互场景，利用计算机的屏幕作为观察虚拟世界的一个窗口，通过各种输入设备实现与虚拟世界的交互。桌面式VR系统一般要求参与者使用空间位置跟踪定位设备和其他输入设备，如数据手套和6个自由度的三维空间鼠标，使用户虽然坐在监视器前，却可以通过计算机屏幕观察360°范围内的虚拟世界。在桌面式VR系统中，计算机的屏幕是用户观察虚拟世界的一个窗口，在一些VR工具软件的帮助下，参与者可以在仿真过程中进行各种设计。使用的硬件设备主要是立体眼镜和一些交互设备（如数据手套、空间位置跟踪定位设备等）。立体眼镜观看计算机屏幕中虚拟三维场景的立体效果，它所带来的立体视觉能使用户产生一定程度的沉浸感。有时为了增强桌面式VR系统的效果，在桌面式VR系统中还可以加入专业的投影设备，以达到增大屏幕观看范围的目的。桌面式VR系统具有以下主要特点： 对硬件要求极低，有时只需要计算机或是增加数据手套、空间位置跟踪定位设备等。 缺少完全沉浸感，参与者不完全沉浸，因为即使戴上立体眼镜，仍然会受到周围现实世界的干扰。 应用比较普遍，因为它的成本相对较低，而且它也具备了沉浸式VR系统的一些技术要求。作为开发者和应用者来说，从成本角度考虑，采用桌面式VR技术往往被认为是从事VR研究工作的必经阶段。图1-4 桌面式VR系统（2）沉浸式VR系统沉浸式VR系统利用头盔显示器和数据手套等各种交互设备把用户的视觉、听觉和其他感觉封闭起来，而使用户真正成为VR系统内部的一个参与者，并能利用这些交互设备操作和驾驭虚拟环境，产生一种身临其境、全心投入和沉浸其中的感觉（见图1-5）。沉浸式VR系统的基本组成如图1-6所示。图1-5沉浸式VR系统演示实例沉浸式VR系统的特点 高度的沉浸感。沉浸式VR系统采用多种输入与输出设备来营造一个虚拟的世界，并使用户沉浸于其中，同时还可以使用户与真实世界完全隔离，不受外面真实世界的影响。 高度实时性。在虚拟世界中要达到与真实世界相同的感觉，如当人运动时，空间位置跟踪定位设备需及时检测到，并且经过计算机运算，输出相应的场景变化，并且这个变化必需是及时的，延迟时间要很小。图1-6 沉浸式VR系统的基本组成沉浸式VR系统的分类常见的沉浸式VR系统有：基于头盔式显示器的VR系统、投影式VR系统、遥在系统。基于头盔式显示器采用头盔式显示器或投影式VR系统是或投影式显示系统来实现完全投入。它把现实世界与之隔离，使参与者从听觉到视觉都能投入到虚拟环境中去。遥在系统是一种远程控制形式，常用于VR系统与机器人技术相结合的系统。（3）增强式VR系统增强式VR系统简称增强现实（AR），它既允许用户看到真实世界，同时也能看到叠加在真实世界上的虚拟对象，它是把真实环境和虚拟环境结合起来的一种系统，既可减少构成复杂场景的开销（因为部分虚拟环境由真实环境构成），又可对实际物体进行操作（因为部分物体是真实环境）。增强式VR系统有以下3个特点： 真实世界和虚拟世界融为一体。 具有实时人机交互功能。 真实世界和虚拟世界是在三维空间中整合的。（4）分布式VR系统分布式VR系统是VR技术的网络技术发展和结合的产物，是一个在网络的虚拟世界中，位于不同物理位置的多个用户或多个虚拟世界，通过网络连接成共享信息的系统。DVR系统的目标是在沉浸式VR系统的基础上，将地理上分布的多个用户或多个虚拟世界通过网络连接在一起，使每个用户同时加入到一个虚拟空间里（真实感三维立体图形、立体声），通过联网的计算机与其他用户进行交互，共同体验虚拟经历，以达到协同工作的目的，它将虚拟提升到了一个更高的境界。VR系统运行在分布式世界中有2个方面的原因：一方面是充分利用分布式计算机系统提供的强大计算能力；另一方面是有些应用本身具有分布特性，如多人通过网络进行游戏和虚拟战争模拟等。分布式VR系统的特点： 各用户具有共享的虚拟工作空间。 伪实体的行为真实感。 支持实时交互，共享时钟。 多个用户可用各自不同的方式相互通信。 资源信息共享以及允许用户自然操纵世界中的对象。目前，分布式VR技术主要被应用于远程虚拟会议、虚拟医学会诊、多人通过网络进行游戏或虚拟战争模拟（见图1-7所示）等领域。图1-7 虚拟战争模拟8 虚拟现实技术的研究现状及研究方向VR技术领域几乎是所有发达国家都在大力研究的前沿领域，它的发展速度非常迅速。基于VR技术的研究主要有VR技术与VR应用两大类。在国外VR技术研究方面研究得较好的有美国、德国、英国、日本、韩国等国家。在国内，浙江大学、北京航空航天大学等单位在VR方面的研究工作开展得比较早，成果也较多。(1) 国外研究现状 美国是VR技术的发源地，因而大多数研究机构都在美国。美国宇航局（NASA）。Ames实验室一直是许多VR技术思想的发源地。早在1981年，他们就开始研究空间信息显示，1984年又开始了虚拟视觉环境显示（VIVED）项目。后来，其研究人员Scott Fisher还开发了虚拟界面环境(VIEW)工作站。Ames完善了HMD，并将VPL的数据手套工程化，使其成为可用性较高的产品。目前，Ames把研究的重点放在对空间站操纵的实时仿真上。北卡罗来纳大学（UNC）对VR的研究主要在四个方面：分子建模、航空驾驶问题、外科手术仿真、建筑仿真。他们解决了分子结构的可视化，并已用于药物和化学材料的研究。Loma Linda大学医学中心是一所经常从事高难度或有争议医学项目研究的单位。他们成功地将计算机图形及VR的设备用于探讨与神经疾病相关的问题。他们巧妙地将VPL的数据手套作为测量手颤动的工具，将手的运动实时地在计算机上用图形表示出来，从而进行分析诊断。施乐公司研究中心在VR领域主要从事利用VR技术建立“未来办公室”的研究。SRI研究中心主要从事定位光标、视觉显示器、光学部件、触觉与力反馈、三维输入装置及语言交互等研究。英国在VR技术的研究与开发的某些方面，如分布式并行处理、辅助设备（触觉反聩设备等）设计、应用研究等方面，在欧洲是领先的。在德国，以德国FhG-IGD图形研究所和德国计算机技术中心（GMD）为代表。它主要从事虚拟世界的感知、虚拟环境的控制和显示、机器人远程控制、VR在空间领域的应用、宇航员的训练、分子结构的模拟研究等。德国的计算机图形研究所（IGD）测试平台，主要用于评估VR技术对未来系统和界面的影响，向用户和生产者提供通向先进的可视化、模拟技术和VR技术的途径。日本主要致力于建立大规模VR知识库的研究，另外在VR游戏方面的研究也做了很多的工作 。东京大学的原岛研究室开展了3项研究：人类面部表情特征的提取、三维结构的判定和三维形状的表示以及动态图像的提取。东京大学的广濑研究室重点研究VR的可视化问题。为了克服当前显示和交互技术的局限性，他们开发了一种虚拟全息系统。他们的成果有一个类似CAVE的系统，用HMD在建筑群中漫游，制造出飞行仿真器等。筑波大学工程机械学院研究了一些力反馈显示方法。他们开发了9自由度的触觉输入器并开发了虚拟行走原型系统，步行者只要脚上穿上全方向的滑动装置，他就能交替迈动左脚和右脚。(2) 国内研究现状2003年，由浙江大学CAD&CG国家重点实验室牵头，由浙江大学、中科院软件所、清华大学、北京航空航天大学等联合申报的2002年度国家重点基础研究发展规划（即973项目）中的“虚拟现实的基础理论、算法及其实现”获批准立项。对虚拟环境的建立、自然人机交互、增强式VR、分布式VR、VR在产品创新中的应用等技术进行联合攻关。北京航空航天大学计算机系是国内最早进行VR研究的机构之一，他们首先进行了一些基础知识方面的研究，并着重研究了虚拟世界中物体物理特性的表示与处理，在VR中的视觉接口方面开发出了部分硬件，并提出了有关算法及实现方法。他们还实现了分布式虚拟世界网络设计，建立了网上VR研究论坛，可以提供实时三维动态数据库，提供VR演示世界，提供用于飞行员训练的VR系统，提供开发VR系统的开发平台，并将要实现与有关单位的远程连接。开发了直升机虚拟仿真器、坦克虚拟仿真器、虚拟战场环境观察器、计算机兵力生成器。清华大学计算机科学和技术系对VR和临场感的方面进行了研究，例如球面屏幕显示和图像随动、克服立体图闪烁的措施和深度感实验等方面都具有不少独特的方法。他们还针对室内环境中水平特征丰富的特点，提出借助图像变换，使立体视觉图像中对应水平特征呈现形状一致性，以利于实现特征匹配，并获取物体三维结构的新颖算法。对虚拟现实及其临场感等方面进行了大量研究，其中有不少方案和方法都独具特色，比如球面屏幕显示和图像随动、克服立体图闪烁的措施和深度感实验测试等。北京科技大学成功开发出了纯交互式汽车模拟驾驶培训系统。该系统的三维图形非常逼真，虚拟环境与真实的驾驶环境几乎没有什么差别，因此投入使用后效果良好。西安交通大学信息工程研究所对VR中的关键技术立体显示技术进行了研究。他们在分析人类视觉特性的基础上提出了一种基于JPEG标准压缩编码的新方案，并获得了较高的压缩比、信噪比以及解压速度，并且已经通过实验结果证明了这种方案的优越性。2004年南京大学成立了南京大学虚拟现实与教学媒体研究中心，对VR技术及应用进行研究，并把重点放在虚拟体育仿真、数字文化遗产保护和自然人机交互等方面。国内在VR方面有较多研究成果的其他单位还有国防科技大学、天津大学、北京理工大学、中国科学院自动化研究所、西北大学、山东大学、大连海事大学和香港中文大学等。(3) 目前虚拟现实技术的局限性 硬件设备的局限性1.相关设备普遍存在使用不方便、效果不佳等情况2.硬件设备品种有待进一步扩展3.VR系统应用的相关设备价格也比较昂贵且局限性很大 软件的局限性从软件上来说，现在大多数VR软件普遍存在语言专业较强，通用性较差，易用性差等问题。同时，由于硬件设备的诸多局限性，使得软件的开发费用也十分巨大，并且软件所能实现的效果受到时间和空间的影响较大，很多算法及许多相关理论也不成熟。 应用的局限性从应用上来说，现阶段VR技术的主要应用在军事领域较多，在各高校科研方面较多，在教育领域、工业领域应用还远远不够，有待进一步加强。未来的发展应努力向民用方向发展，并在不同的行业发挥作用。 效果的局限性1.虚拟世界的表示侧重几何表示，缺乏逼真的物理、行为模型。2.在虚拟世界的感知方面，有关视觉合成研究多，听觉、触觉（力觉）关注较少，真实性与实时性不足。3.在与虚拟世界的交互中，自然交互性不够，在语音识别等人工智能方面的效果还远不能令人满意。（4）VR技术的研究方向 感知研究领域在听觉方面应加强听觉模型的建立，提高虚拟立体声的效果，并积极开展非听觉研究；在触觉方面，要开发各种用于人类触觉系统的基础研究和VR触觉设备的计算机控制的机械装置。 人机交互界面开展独立于应用系统的交互技术和方法的研究，建立软件技术交换机构以支持代码共享、重用和软件投资，并鼓励开发通用型软件维护工具。 高效的VR软件和算法 积极开发满足VR技术建模要求的新一代工具软件及算法、虚拟现实建模语言的研究、复杂场景的快速绘制及分布式VR技术的研制。 廉价的VR硬件系统VR技术的主要研究方向是在外部空间的实用跟踪技术、力反馈技术、嗅觉技术及面向自然的交互硬件设备。 智能虚拟环境智能虚拟环境是虚拟环境和人工智能与人工生命两种技术的结合。它涉及多个不同学科，包括计算机图形、虚拟环境、人工智能与人工生命、仿真、机器人等。第二章 虚拟现实系统的交互设备三维交互设备用于把各种信息输入计算机，并向用户提供相应的反馈，它们是使参与者能以人类自然技术与虚拟环境交互的必要工具。根据传感渠道以及在功能和目的上的不同，虚拟现实系统的三维交互设备主要被分为三维跟踪传感设备、立体显示设备、人机交互设备以及系统集成设备等几大类。1VR的三维跟踪传感设备虚拟现实技术是在三维空间中与人交互的技术，为了能及时、准确地获取人的动作信息，需要有各类高精度、高可靠的跟踪、定位设备。例如，为了感知参与者的视线，需要跟踪观察者头部的位置和方向；为了在虚拟环境中移动物体或参与者的身体，就要跟踪观察者各肢体的位置，包括从手到全身各部位的位置等。因此，必须要研制与三维交互相适应的跟踪装置（如图2-1所示），而这种实时跟踪以及交互装置主要依赖于传感器技术，它是VR系统中实现人机之间沟通的极其重要的通信手段，是实时处理的关键技术。图2-1 Polhemus的Fastrak跟踪定位器VR的各种应用基本上都是采用跟踪用户头部或手的运动，也有监测使用者的眼睛）即视线）或面部表情的系统。常用的跟踪传感技术主要有电磁波、超声波、机械、光学和图像提取等几种方法，它们被广泛地应用在头盔显示器、数据手套等三维交互设备的功能设计中。（1）电磁波跟踪器这是一种最为常用的跟踪器，它使用一个信号发生器（3个正交线圈组）产生低频电磁场，然后由放置于接收器中的另外三组正交线圈组负责接收，通过获得的感生电流和磁场场强的9个数据来计算被跟踪物体的位置和方向（如图2-2所示）。电磁波跟踪器体积小、价格便宜、用户运动自由，而且敏感性不依赖于跟踪方位，但是其系统延迟较长，跟踪范围小，且准确度容易受环境中大的金属物体或其他磁场的影响。图2-2 交流电磁跟踪系统的工作原理（2）超声波跟踪器超声波跟踪器的工作原理是发射器发出高频超声波脉冲（频率20kHz以上）后，由接收器计算收到信号的时间差、相位差或声压差等，就可以跟踪物体的距离和方位了。超声波跟踪器的性能适中，成本低廉，而且不会受外部磁场和大块金属物质的干扰。但是，它的敏感性却容易受接收器的方位和空气密度的影响。按照测量方法的不同，超声波位置跟踪技术通常可以分为两大类，它们是飞行时间测量法和相位相干测量法。其中，声波飞行时间跟踪是通过测量声波的飞行时间延迟来确定距离的。它同时使用多外发射器和接收器，以便获得一系列的距离量，从而计算出准确的位置和方向。这种方法具有较好的精确度和响应性，但容易受到外界噪音脉冲的干扰，同时数据传输率还会随着监测范围的扩大而降低，因而比较适用于小范围内的操作环境。相位相干跟踪则是通过比较基准信号和传感器监测到的发射信号之间的相位差来确定距离的。由于相位可被连续测量，因而这种方法具有较高的数据传输率。同时，多次的滤波还可以保证系统监测的精度、响应性以及耐久性等，而不受到外界噪声的干扰。（3）光学跟踪器光学跟踪也是一种较为常见的跟踪技术。这种跟踪器可以使用自然光、激光或红外线等作为光源，但为避免干扰用户的观察视线，目前多采用红外线方式。与电磁波和超声波这两种跟踪器相比，光学系统的可工作范围小，但其数据处理速度、响应性都非常好，因而较适用于头部活动范围相当受限、但要求具有较高刷新率和精确率的实时应用。（4）其他空间跟踪系统 机械跟踪器 惯性跟踪器 图像提取跟踪器2VR的立体显示设备对虚拟世界的沉浸感主要依赖于人类的视觉感知，因而三维立体视觉是虚拟现实技术的第一传感通道。虽然桌面式VR系统中可以使用普通的计算机屏幕作为显示设备，但它却不能提供大视野、双眼的立体视觉效果。因此，我们需要一些专门的立体显示设备来增强用户在虚拟环境中视觉沉浸感的逼真程度。现阶段常用的显示设备主要有立体眼镜、头盔式显示器、双目全方位显示器、大屏幕投影等。（1）头盔式显示器头盔式显示器（HMD）是VR系统中普通采用的一种立体显示设备，它通常安装在头部，并用机械的方法固定，头与头盔之间不能有相对运动，在HMD上配有空间位置跟踪定位设备，能实时检测出头部的位置，VR系统能HMD的屏幕上显示出反映当前位置的场景图像。它通常由两个LCD或CRT显示器分别向左右眼提供图像，这两个图像由计算机分别驱动的，两个图像间存在着微小的差别，类似于“双眼视差”。通过大脑将两个图像融合以获得深度感知，得到一个立体的图像。HMD可以将参与者与外界完全隔离或部分的隔离，因而已成为沉浸式VR系统与增强式VR系统不可缺少的视觉输出设备，图2-3为两种头盔式显示器。图2-3 Virtual Research V8 和Proview60两种头盔式显示器（2）双目全方位显示器（BOOM）BOOM是一种可移动式显示器。它由两个互相垂直的机械臂支撑，这不仅让使用者可以在半径约2米的球面空间内自由移动，还能将显示器的重量加以巧妙的平衡而使之始终保持水平，不受平台的运动影响。在支撑臂上的每个节点处都有位置跟踪器，因此BOOM和头盔显示器一样有实时的观测和交互能力。与头盔显示器相比，BOOM采用高分辨率的CRT显示器，因而其分辨率高于HMD，且图像柔和。BOOM的位置及方向跟踪是通过计算机械臂节点角度的变化来实现的，因而其系统延迟小，且不受磁场和超声波背景噪音的影响。虽然它的沉浸感稍差些，但使用这种设备可以自由的进出虚拟环境，使用者只要把头从观测点转开，就离开虚拟环境而进入现实世界，因此具有方便灵活的应用特点。BOOM的缺点是使用者的运动受限，这是因为在工作空间中心支撑架造成了“死区”。图2-4是一种用于设计核潜艇的BOOM显示器。图2-4 用于设计核潜艇的BOOM显示器（3）CRT终端液晶光闸眼镜CRT终端液晶光闸眼镜立体视觉系统的工作原理是：由计算机分别产生左、右眼的两幅图像，经过合成处理后，采用分时交替的方法显示于CRT终端上。用户则佩戴一副与计算机相连的液晶光闸眼镜，眼镜的左、右镜片在驱动电信号的作用下，将以与图像显示同步的速率交替“开”（透光）、“闭”（遮光），即当计算机显示左眼图像时，右眼透镜将被遮闭，而当计算机显示右眼图像时，左眼透镜则被遮闭。这样做可以让用户的左、右眼分别只看到相应的左、右图像。根据双目视差与深度距离的正比关系，人的视觉生理系统就可以自动将这两幅视差图像融合成一个立体视像了（如图2-5所示）。图2-5 CRT终端液晶光闸眼镜显示CRT终端液晶光闸眼镜相对于头盔显示器和BOOM的特点： 设备价格低、重量轻使用、舒适。 比头盔显示器的形成的图像清晰 图像亮度不如普通屏幕好 沉浸感较差。（4）大屏幕投影液晶光闸眼镜此设备要求用于投影的CRT或数字投影机要求具有极高的亮度和分辨率，它适合于在较大的视野内产生投影图像的应用需求（如图2-6所示）。例如美国芝加哥大学研制的CAVE系统。它构造了一个由4面投影屏幕形成的立方体虚拟环境，又被称为“洞穴”。各屏幕（背投式）同时显示从某一固定观察点看到的所有视像，由此提供一种全景式的环境。该系统需要复杂而又昂贵的计算机投影控制系统：它通常采用球面大屏幕，投影机位于球心，具有与双摄像机立体观察器相同的俯仰和偏转两个位置，并始终保持以观察者为正前方在球屏上相应移动，从而形成一定的视景环绕感。投影式VR系统对一些公众场合中很理想的，例如艺术馆或娱乐中心，因为参与者几乎不需要任何专用硬件，而且还允许很多人同时享受一种虚拟现实的经历。图2-6 大屏幕投影液晶光闸眼镜显示（5）三D显示器三D显示器不需要用户戴上专门的眼镜也能观察到立体的图像。这项技术不同于普通显示器中的发射与反射类型，如图2-7所示，它把光源从显示器的下面向上发射，通过显示器内部的发射与折射，使用户能看到立体的图像。这项技术的一个显著优点在于对显示器周围的环境没有任何严格的要求。这种显示器目前面临的主要问题是制作成本太高，因而尚未商品化，它属于新发明，在未来有希望成为三维可视化的一种理想显示工具。图2-7 三D显示器3虚拟现实的人机交互设备一般的跟踪、探测设备都具有简单、紧凑和易于操作等优点，但由于它们自身构造的限制，使操作者手的活动自由度仅限于在桌上的一个小区域中，减弱了它与虚拟世界交互作用的直观性。VR技术的一项重大突破就是用手来代替键盘、鼠标，作为人与计算机交互的一种重要手段。借助各种专用的设备代替键盘、鼠标，作为人与计算机交互的一种重要手段，操作者不但可以获得大范围的基于手势的交互操作，同时可以通过身体的各个部位的运动来感知，增加了人在虚拟空间中的自由度和灵活性。（1）数据手套数据手套（Data Glove）是VPL公司在1987年推出的一种传感手套的专有名称。到现在，数据手套是一种被广泛使用的传感设备，它是一种戴在用户手上的虚拟的手，用于与VR系统进行交互，可在虚拟世界中进行物体抓取、移动、装配、操纵、控制，并把手指伸屈时的各种姿势转换成数字信号送给计算机，计算机通过应用程序来识别出用户的手在虚拟世界中操作时的姿势，执行相应的操作。在实际应用中，数据手套还必须配有空间位置跟踪定位设备，检测手的实际位置和方向。现在已经有多种传感数据手套问世，它们之间的区别主要在于采用的传感器不同。目前典型的数据手套有以下几种： VPL数据手套VPL数据手套是由轻质的富有弹性的Lycra材料制成.它采用光纤作为传感器,用于测量手指关节的弯曲程度.采用光纤作为传感器是因为光纤体积小、重量轻，可方便地安装在手套上。数据手套的标准配置是每个手指上有两个传感器控制装在手指背面的两条光纤环，一副数据手套就装有10个传感器，用来测量手指主要关节的弯曲程度。 赛伯手套赛伯手套（Cyber Glove）是为把美国手语翻译成英语所设计的。在手套上织有多个由两片应变电阻片组成的传感器，它在工作时检测成对的应变片电阻变化。当手指弯曲时一片受到挤压，另一片受到拉伸，使两个电阻片的电阻分别发生变化，通过电桥换算出相应的电压变化，再把此数据量送入到计算机中处理，从而检测到各手指的弯曲状态。 DHM手套这是一金属结构的传感手套，通常安装在用户的手臂上，其安装及拆卸过程相对比较烦琐，在每次使用前需进行调整。在每个手指上安装有4个位置传感器，共采用20个霍尔传感器安装在手的每个关节处。DHM传感手套响应速度快、分辨率高、精度高，但价格较高。常用于精度要求较高的场合。（2）数据衣 数据衣是采用与数据手套同样的原理制成的，数据衣是为了让VR系统识别全身运动而设计的输入装置。它将大量的光纤安装在一件紧身衣上，可以检测人的四肢、腰部等部位的活动，以及各关节（如手腕、肘关节）弯曲的角度。它能对人体的大约50多个不同的关节进行测量，通过光电转换，将身体的运动信息送入计算机进行图像重建，如图2-8所示，目前，这种设备正处于研发阶段，因为每个人的身体差异较大，存在着如何协调大量传感器之间实时同步性能等各种问题，但随着科技的进步，此种设备必将有较大的发展。数据衣主要应用在一些复杂环境中，对物体进行的跟踪和对人体运动的跟踪与捕捉。图2-8 数据衣（3）三维控制器 三维空间鼠标三维空间鼠标（3D Mouse）可以完成虚拟空间中6自由度的操作，其工作原理是在鼠标内部安装超声波或电磁发射器，利用配套的接收设备可检测到鼠标在空间中的位置与方向。三维空间鼠标与其他设备相比其成本低，常驻应用于建筑设计等领域。 力矩球力矩球（Space Ball）的中心是固定的，并装有6个发光二极管，球有一个活动的外层，也装有6个相应的光接收器。当使用者用手对球的外层施加力或力矩时，根据弹簧形变的法则，6个光传感器测出3个力和3个力矩的信息，并将信息传送计算机，即可计算出虚拟空间中某物体的位置和方向等。力矩球通常被安装在固定平台上，可以用手作扭转、挤压、压下、拉出、来回摇摆等操作，它采用发光二极管和光接收器来测量力，通过安装在球中心的几个张力器来测量出手施加的力，并将数据转化为3个平移运动和3个旋转运动的值送入计算机中，如图2-9所示。力矩球的优点是简单而且耐用；缺点是可以操纵物体，但在选取物体时不够直观，在使用前一般要进行培训与学习。图2-9 力矩球（4）三维模型数字化仪三维模型数字化仪又称三维扫描仪或三维扫描数字化仪，是一种先进的三维模型建立设备，利用CCD成像、激光扫描等手段实现物体模型的取样，同时通过配套的矢量化软件对三维模型数据进行数字化，如图2-10所示。它特别适合于建立一些不规则三维物体模型，如人体器官和骨胳模型、出土文物、三维数字模型的建立等，在医疗、动植物研究、文物保护等VR应用领域有广阔的应用前景。图2-10 三维模型数字化仪扫描石膏像三维模型数字化仪的工作原理是：由三维模型数字化仪向被扫描的物体发射激光，通过摄像机从每个角度扫描并记录下物体各个面的轮廓信息，安装在其上的空间位置跟踪定位设备也同步记录下三维模型数字化仪的位置及方向的变换信息，将这些数据送入计算机中，再采用相应的软件进行处理，得到与物体对应的三维模型。4VR硬件的系统集成虚拟现实系统中通常包括大量需要处理来自各种设备的感知信息、模型和数据，因此，建立一个以计算机为核心，将多种I/O交互设备协调组合在一起的硬件平台，是VR系统集成的关键技术。计算机系统作为虚拟现实系统的核心，必须具有足够强大的功能才能完成实时处理、数据输入/输出、虚拟境界的管理和生成等功能。它一方面要保障虚拟三维场景的实时计算和显示，尽量减少延迟，另一方面还要协调各种I/O交互设备之间的工作，以确保系统整体运行的性能，见图2-11。图2-11 某一VR硬件集成系统的组成第三章 虚拟现实系统的相关技术与软件VR系统的目标是由计算机生成虚拟世界，用户能与之进行视觉、听觉、触觉、嗅觉等全方位交互。要达到这种目标，除了需要有一些专业的硬件设备，还必须有较多的相关技术及软件加以保证。如要达到观察一个三维场景，并且随视角不同能实时显示变化的场景图像。我们知道只有设备是远远不够的，还必须有相应的压缩算法等技术相支持，由此可见，实现VR系统除了需要功能强大的硬件设备支持以外，对其相关的软件和技术也提出了较高要求。1环境建模技术虚拟环境的建立是VR技术的核心内容，虚拟环境是建立在建模基础之上的，只有设计出反映研究对象的真实有效的模型，VR系统才有可信度。虚拟环境建模的目的是获取实际环境的三维数据，并根据应用的需要，利用获取的三维数据建立相应的虚拟环境模型。VR系统中环境的建模技术与其图形建模技术相比，主要特点表现在以下3个方面： 虚拟环境中可以有很多物体，往往需要建造大量完全不同类型的物体模型。 虚拟环境中有些物体有自己的行为，而其他图形建模系统中一般只有构造静态的物体，或是物体简单的运动。 虚拟环境中的物体必须有良好的操纵性能，当用户与物体进行交互时，物体必须以某种适当的方式来作出反应。