高清时代的视频会议系统.docx

高清时代的视讯系统摘要：高清时代的今天，文章介绍了高清视讯的定义及系统的组成，对高清视讯的关键技术进行了描述，介绍了高清视讯架构设计平台和高清视讯的设计方案，对未来高清视讯系统发展趋势进行了探讨。关键词：高清视讯、H.264、DSP、720P、1080P、MCU、视讯终端1概述随着广播电视数字化的发展，人们越来越关注电视图像的质量问题。300500线的电视清晰度已不能满足需求，人们更多地在考虑如何在家中收看到有影院效果的电视节目，高清晰度电视（HDTV）的发展使人们看到了希望。HDTV电视机目前能支持的720P、1080P图像分辨率分别是传统电视D1分辨率的2倍与5倍。图像采用模拟信号的形式传输时，占用频带宽，损耗大，远距离传输有很大困难，因此图像进行远程传输时必须采用压缩的数字信号传输，并且传输图像清晰度越高所需要的传输带宽越高，但是实际用户网络的带宽是有限的，为了平衡图像清晰度与传输带宽的矛盾，必须寻找一种高效的压缩算法保证。ITU-T和ISO两个国际标准化组织的专家联合组成视频联合工作组（JVT，Joint Video Team）制定的H.264编解码算法为以上情景的实现提供了保障。H.264相对以前的编码方法，在图像内容预测方面提高编码效率，采用可变块大小运动补偿、1/4采样精度运动补偿、加权预测等算法，改善图像质量，增加纠错功能和各种网络环境传输的适应性。测试结果表明，在中低带宽情况下，H.264具有比MPEG和H.263+更优秀的PSNR性能：H.264的PSNR比MPEG-4平均要高2dB，比H.263+平均要高3dB。图1 各种编码算法效率对比可以看出，在图像编解码效率上，H.264算法最为领先，MPEG-4和H.263算法基本相同，MPEG-2算法效率最低。在同样的图像清晰度要求（PSNR- Power Signal-to-noise Ratio，信号-噪声功率比）下，H.264所需要的带宽比MPEG-2节省将近一半。同样，不论在高带宽、还是低带宽，H.264的清晰度（PSNR值）都远远大于其他编码标准。宽带网络的迅速发展，线路资费的降低，户网络的带宽不断得到提高，光纤到楼也成为商务办公大楼新建或者改造宽带网络的一种常用选择，为用户开展高带宽业务提供了基础。视讯会议是利用电视和通信网召开会议的一种通信方式，“缩短”了与会代表的距离，使大家如同面对面一样地交流，节省用户的时间与财力。视讯会议是一种带有体验性质的直观的通信业务，画面的清晰程度直接会影响交流的效果，所以视讯会议的图像清晰度也紧随着编解码技术、业务承载带宽的不断发展而发展。视讯会议已经从CIF（标清）视讯发展到4CIF（高清）视讯阶段，进入了HD高清视讯会议阶段。2 高清视讯系统定义高清视讯系统相对于以前传统会议系统在视音频效果上有一个质的飞跃，具有高度临场感和逼真感的视听效果，具备以下的技术特性：1、支持图像16：9的屏幕宽高比，这是高清图像基本特性，同时可以兼容4：3屏幕宽高比。2、支持1080P/30fps高清晰图像采集、传输与显示，与高清电视机分辨率发展能够匹配。3、目前市场上已经出现高清DVD，而会议中“演讲者+DVD”双流模式是一种合理的选择项，所以高清视讯系统可以支持双流1080P/30fps。4、普通计算机分辨率可以支持SXGA（12801024）分辨率，高端计算机可以支持UXGA（16001200）高清晰分辨率，由于视讯会议中经常会传送计算机桌面，因此高清视讯系统能够支持UXGA（16001200）分辨率、兼容SXGA（12801024）高清晰数据辅流图像采集、传输与显示。4、 支持立体声的采集、传输与播放。3 高清视讯系统构成视讯会议要实现高清效果，就要求从图像采集、图像编解码、多点控制单元、显示设备都能兼容高清特性：1、 摄像机摄像机完成图像源图像采集与输出，采用支持总有效像素达200万的传感器，提供高清晰高分辨率的图像输出，分辨率支持1080/30P，提供高清图像信号输出接口如SDI。图2 摄像机示意图2、 麦克风图3 麦克风示意图麦克风为声音的采集设备，至少保证采集到人发出的803400Hz自然音。3、 视讯终端高清视讯终端完成视讯会议视音频的编码与解码，应支持1080P/30fps活动图像的编解码，考虑到组网方便性，应向下兼容720P、4CIF活动图像的编解码。为提供优质的会议效果，支持UXGA（16001200）高清晰数据辅流图像的编解码，兼容SXGA（12801024）分辨率；支持16：9图像格式输出，兼容4：3图像格式；支持AES、AGC、ANS等技术及立体声的输出。视讯终端提供高清接口连接相关外设，如SDI、DVI（/HDMI/YPrPb）等接口。图4 终端后面板示意图4、 MCU要让多于2地会场（终端）使用高清的会议效果参与会议，需要高清MCU桥接所有与会会场，MCU完成终端视音频信号的汇聚与分发。图5 MCU示意图高清MCU支持支持1080P/30fps活动图像的编解码，支持UXGA（16001200）高清晰数据辅流图像的编解码，支持多画面数字合成；支持会场声音的混音与发放。高清MCU同时支持CIF、4CIF、720P视讯会议系统接入，便于兼容用户前期建设的视讯网络。5、 电视机电视机可以支持图像与声音的输出显示，电视机应该为HDTV，支持1080P分辨率，16：9的屏幕宽高比，应该配有支持最佳高清晰度信号的连接器，例如 DVI、HDMI或者YPrPb连接接口。图6 电视机示意图4高清视讯系统关键技术4.1高清晰度高清视讯支持1080P级图像效果，是传统电视机D1图像5倍效果，给人一种震撼感觉，真正可以实现“面对面”的真实沟通效果。下表为各类图像格式对比：图像格式像素分辨率兆(像素)/图CIF352x2880.1014CIF704x5760.406720P1280x7200.9221080P1920x10802.074高清视讯提供的高清晰图像效果完全能满足远程伪钞辨别、毛细血管级手术示教等行业应用，各种物体、人物、部件细小的差别都能在远程屏幕上显示的淋漓尽致。图7 1080P图像效果示意图4.2高可用性从业务使用角度上来讲，高清视讯会议系统目的就是虚拟现实开会模式，对日常现实会议具有高度模拟性，提供的操作功能具有高度可用性，具有逼真日常会议的会场布置模拟能力。在会议中会议管理员可以统一通过高清MCU操作台控制会议进程，标识与会会场的角色，会议期间可以通过操作台下发模拟现实会场的相关动作：1、高清MCU操作台可以设置与会会场的会场名，能够替代日常会议或者普通会议电视需要在会场桌放置与会人员所属地卡片的做法；会场名可以根据需要放置在会场画面的右上角、左上角、右下角、左下角等位置，会场名可以随时被隐藏或者显示，字体、大小、主颜色及背景色可以被灵活设置。2、在开会期间用户可能会在会场布置横幅布条，突显会议的主题，高清MCU操作台内置的横幅功能能够模拟这种场景，在会场画面的上方模拟配置透明横幅，横幅可以随时被隐藏或者显示，字体、大小、主颜色及背景色可以被灵活设置。3、高清MCU操作台提供自由设置字幕功能，除了随时可以被隐藏或者显示，字体、大小、主颜色及背景色可以被灵活设置外，字幕可以设备自右向左或者自下向上滚动方式，配置快速、中速、低速、静止等滚动速度，配置滚动次数及时间。高清视讯会议系统字幕完全可以替代日常会议的黑板报通知功能。高清MCU操作台提供的以上功能可以满足用户的日常会场布置需要，不需要用户去额外采购会议辅助设备，节省会议费用。高清视讯会议系统提供的功能具有高可用行，能够极限模拟日常现实会议的动作，可以最大程度地为用户节省人力与财力。4.3高适应性在视讯网络建设中会碰到各种类型的运行网络环境：1、目前大部分视讯系统在IP网络中运行，在IP网络采用网络共享方式存在总多业务，势必导致很多网络异常产生，如丢包、乱序等，视讯网络必须解决异常网络自适应问题；2、由于地址匮乏IPV4网络启用推广了NAT特性，而视讯设备间通信信息都包含在报文中，致使NAT设备不能直接转化报文中的通信信息而导致视讯设备间穿越NAT设备产生的单通现象，因此视讯设备间通信需要解决NAT穿越需求；3、像电力、公安用户由于历史原因，会存在自建光纤网络，提供E1承载线路，所以视讯设备必须解决IP/E1并存组网问题；4、国内多家运营商运营基础网络，用户单位总部会基于接入稳定性考虑同时引入两家或者以上的网络出口，这样就产生有名“南北互通”网络接入需求，视讯网络应该适应这类“南北互通”接入网络；5、政府的电子政务网由于安全考虑，其内外网是隔离网络，所以视讯系统能提供两隔绝网络同时接入终端的方案。高清视讯系统必须能够适应以上各种网络，具有高度的网络自适应功能，其接入模块满足以下的接入模型，有效解决碰到的以上各种网络情况：图8 网络接入模块模型网络接入模块支持多种类型线路接口，至少包括IP、E1的，所有线路接口可以同时运行，各种IP/IP/E1接口间相互独立，接口间不能路由互通，防止非法数据从一个接口侵入到另外一个接口。IP接口提供NAT穿越自适应模块支持自动NAT穿越功能。“QOS/网络异常自适应模块”可以解决网络丢包、乱序等异常场景，确保网络在遭遇异常时视讯会议还能够正常运行。4.4高可靠性视讯会议系统是直接与用户面对面交互的媒体设备，在会议期间需要不间断稳定运行，特别在特殊行业特殊场景如奥运安保工程需要7*24小时不间断地运行，所以设备高可靠性是视讯会议系统一个最基本特性。高清视讯设备从硬件设计上确保支持多级备份机制，确保系统在检测到某单元模块在疲劳运行或者出现异常时可以切换到备用设备上继续可靠稳定进行：图9 多级备份设计示意图从软件设计角度上看，软件采用高度模块化设计，减少模块间偶合性，提高系统可靠性；软件运行操作系统采用稳定性高的实时嵌入式操作系统：图10 软件设计示意图5高清视讯系统设计技术5.1高清视讯架构设计平台在视讯会议系统的架构设计平台有以下几种成熟模式：1、PC/工控机架构设计平台在视讯会议发展初期，嵌入式硬件设计架构没有被引入到视讯会议领域时采用工控机X86处理器（可以是单核或多核的）架构设计模式，其优点是成本较低，开发设计灵活，开发人员能够直接获取到的开放源码资源丰富，开发周期短，所以这种设计模式到目前还有存在空间。但是其存在一些无法克服缺点，指令处理速度慢，多业务共用处理及高达几百瓦的高功耗，容易造成稳定性低，所以总体设备性能差，扩展能力弱，不适合于召开大型或者长时间运行会议。2、ASIC+CPU架构设计平台采用这种设计架构时视频编解码算法固化在ASIC上，这样带来的直接好处是设备视频编解码运算速度快，由于固化有视频算发的ASIC芯片一般由独立第三方专业厂家提供，所以相对于视讯会议开发厂家来说可以相对缩短产品开发周期。ASIC芯片是采用硬件实现的视频编解码器，性能和功能固定，一般只能实现特定的压缩格式，所以灵活性较差，产品一旦定型，很难更改，具有系统单一化的缺点，无法灵活增加客户的多样化需求，后期维护成本高。目前视讯会议经常需要与其它厂家进行互联互通，很可能会涉及视频编解码的修改，这样的场合基于ASIC设计方案无法满足用户互通要求。3、DSP+CPU架构设计平台这种设计模式中CPU实现视讯会议协议指令处理，DSP实现视频编解码算法运算及图像组合处理。上世纪八十年代初推出DSP芯片，最初的DSP处理能力有限，主要应用在于数据通信和语音处理领域。随着技术的飞速发展，九十年代DSP技术在无线通信领域如GSM应用中获得了巨大的成功，并开始全面拓展到其它应用领域，逐渐在宽带通信、数字控制、数字音频、数字视频等市场上开始占居主角。在DSP平台上进行视频产品开发具备以下几方面的优势：第一，算法是软件代码，所以可以不断对产品性能进行升级，重复开发成本较低，可灵活增加对客户的多样性支持，支持用户个性化功能开发开发；第二，DSP综合功能处理能力强，除了实现视频编解码外，能够适应应用的需要，可以提供很多视频专用功能，比如视频滤波、De-interlace处理、高分辨显示输出、OSD功能等，甚至像网络接口、IDE接口都成为了视频DSP的主要功能，这样为进一步大幅度降低产品的系统成本成为可能；第三，产品升级更新周期短，实现快速实现技术更新和产品换代，适应市场需要；第四，单芯片功耗较低，对提高产品的稳定性提供可靠保障。DSP所需要技术较复杂，需要专业人才保障开发，相对来说前期开发成本较高，需要一定规模及技术能力的公司才能保障有效开发。高清视讯系统已经非传统意义上的单一业务的视频会议了，它可以融合多种多媒体业务如语音，是一种开放的融合的多媒体处理系统，所以DSP+CPU架构设计平台是高清视讯系统理想设计平台。5.2DSP阵列设计需求视频会议系统使用的主流DSP当前一般使用TI公司的Davinci系列，应用较多的有DM64X系列系列，也有ADI公司的Blackfin和飞利浦公司的NexperiaTM系列解决方案，但应用较少； DM64X系列是视频会议领域使用最多的DSP，主要有DM642、DM647等型号。DM642最高主频720M，是TI较早推出的媒体处理DSP，被广泛地应用在视频会议和视频监控领域；DM647最高主频900M，是TI公司较新推出的媒体处理DSP，被应用于一些高端高清视频系统。由于运算1080P编解码协议要求的处理器性能比较高，相比于处理标清的要求需要消耗更高的DSP运算资源，约为编解码标清协议运算量的56倍，如在业界应用广泛的TI（德州仪器）的DM642 DSP，它的处理能力为1路H.264 4CIF/25fps编码，2路H.264 4CIF/2525fps，采用1个DM642无法进行1路H.264 1080P/30fps编解码，1080P/30fps约6个DM642进行编码，4个DM642进行解码。所以编解码1路1080P/30fps需要多个DM642 DSP组成阵列进行编解码处理，以下为DSP阵列图像编码处理流程（解码过程则反之）：图11 DSP阵列图像处理流程图DSP之间协作工作，各自分担部分图像模块的编解码工作，最终协同完成高清图像的编解码工作。采用单一芯片编解码技术，使1080p图像通过一个芯片对整幅画面进行处理，传统的视频会议终端一般采用多DSP协同处理方式，多个DSP芯片把图像进行切割，然后再合并，图像处理过程中有一个切割、合并的过程，同时还要做数据迁移，这些处理过程都会在某种程度上影响视频质量；单芯片处理技术和多DSP处理技术相比，减少了这些机制和过程，从而高清图像可以拥有更低的延时和更好的图像的流畅度。目前业界成熟的且有经过时间验证稳定性的DSP不能满足1个DSP处理1路1080P/30fps编解码处理能力要求，更没有能力1个DSP完成处理双流1080P/30fps编解码的需求，所以采用DSP阵列实现高清图像编解码是目前一种合理的解决方案，并且经过业界实践证明也是有效。更宽的码流范围：般的视频会议带宽范围在64K8M，低码流技术码流越低说明终端的压缩能力越好（比如通过搜索算法的优化来降低码率）；高码流技术码流越高终端的处理能力也就越强；在同样的编解码算法下，图像清晰度与码流成正比的关系，图像质量越高，所需码流率越高，反之则越低；如果是不同的编解码算法，则没有直接关系；图像清晰度主要来自于编解码算法、编码分辨率、量化参数等，编解码算法越复杂，图像清晰度一般越高；编码分辨率越高，图像清晰度越高；量化参数越大，图像越细腻，清晰度也越好。一般情况下，如果编解码算法和编码分辨率固定（比如都是H.264 720p），那么通过增大量化参数（同样就会增大码流）的方式即可提升图像清晰度，决定视频会议终端的性能的主要因素包括终端采用了何种编解码芯片以及厂商的算法优化能力，一般情况下更强大的芯片会大幅提高终端的性能。5.3高清视讯设计方案下面提供一种成熟的基于宽带视讯会议标准（H.323协议）的高清视讯设计方案供参考，方案基于DSP阵列+CPU处理单元为核心进行设计：5.3.1终端设计架构高清终端设计架构图见下：图12 终端设计架构图上图中的“主控CPU”主要进行H.323信令层处理。“DSP阵列单元”支持复杂图像变换及编解码运算，实现多路高分辨率高清图像编解码运算及图象组合处理包括实现PIP画中画、一屏三显等图像显示功能。“音频DSP”完成音频协议编解码处理。要求DSP陈列单元处理能力能够达到同时处理双流1080P/30fps高清处理能力。视频信号流向从摄像机采集到视频信号后，假设采集到的模拟信号则进行视频A/D转换送给FPGA（采集到数字信号则不需要这个步骤），FPGA选择需要的视频信号并进行并串转换后上把视频信号通过高速串行总线送给DSP阵列单元进行处理编码，视频信号编码完成后把码流送给由CPU为核心的主控模块，主控模块按照H.323协议的标准进行打包把视频码流通过网络接口送给远端。从远端过来的视频码流到视频图像显示过程则与上面处理过程是个逆过程。音频信号流向从远端过来的会议码流通过网络接口送给由CPU为核心的主控模块，主控模块按照H.323协议的标准分离音频包，然后送给音频编解码DSP进行解码，解码完成后通过音频接口送给音响设备进行播放。音频的编码处理过程则与上面处理过程是个逆过程。5.3.2MCU设计架构高清MCU设计架构图见下：图13 MCU设计架构图上图中的“主控CPU”主要进行H.323信令层处理，采用高性能CPU处理器实现复杂的会议控制功能。“DSP阵列单元”支持复杂图像变换及编解码运算，实现多路高分辨率高清图像编解码运算及图像组合处理包含多画面、终端会场名、字幕、横幅等图像显示功能。“混音DSP”完成会议音频的混音处理。要求DSP陈列单元处理能力能够达到同时处理双流1080P/30fps高清处理能力，具有1080P多画面处理能力。信号流向主控CPU模块从网络接口收到远程端点H.323码流后，按照协议分离视频包与音频包，视频包发送给DSP阵列单元进行图像解码处理，而后根据要求进行多画面、会场名、字幕、横幅等功能合成编码，编码完成后重新发送给主控CPU；主控CPU分离的音频信号发送给混音DSP进行会议音频混音，混音编码完成后重新发回给主控CPU，主控CPU按照H.323协议规定打包视音频码流发送给与会的相关端点。6高清视讯系统发展趋势6.1全网统一管理随着基础网络建设不断向城乡网络扩展，视讯会议系统建设也随之向三、四、五级网络延伸，视讯网络规模越来越大，操作管理越来越复杂，所以必须需要一套业务管理系统来承担全网视讯设备的管理：图14 视讯网络管理示意图1、业务管理系统提供全网设备网络管理包括设备升级、配置，设备拓扑显示，通过图形化的操作界面可以便捷对管理设备操作各项功能。2、业务管理台支持全网会议智能动态调度，无须管理员过多了解设备间关联信息，业务管理台自动关联设备间关系让会议自动召开，彻底抛弃了传统组网方案中的固定级联组网模式。3、全网设备告警信息可以自动被业务管理台收集，支持告警智能分析，方便管理员定位并排除故障。4、针对大型多级视讯网络，通过业务管理台可以划分成多个管理域，也可以通过域间授权，跨域调度会议资源；会议管理员可以根据行政级别不同定义管理域的管理权限。 图15 智能化全网统一视讯管理台设计示意图通过全网统一会议业务管理台的全网设备集中管理和智能动态调度，为用户提升了效率，让复杂的工作变得简单，极大地为用户降低成本开销。6.2开放式设计架构在传统的IT架构下，企事业往往围绕一个独立的应用通过不断购置新的设备或系统来满足业务需求，一方面导致IT系统日益变得庞大复杂，另一方面也产生了一个个相互孤立的“孤岛”，难以统一管理。构建在这样的架构上的IT平台，可能满足了一时的业务需求，但IT建设整个周期中产生的投资重复、人力浪费、管理耗费等“投入”，也可能成为伴随IT运转的副产品。基于以上的共识，业界主流厂家发布新一代产品都会倾向于采取开放式设计架构，为用户开放API供第3方的应用程序进行调用，如会议调度。可以与用户的OA或者其它应用程序深度融合，为用户解决信息“孤岛”提供有效支持，同时提升用户OA或者其它应用程序的价值。高清视讯系统作为新一代视讯产品，也应顺应开放潮流，提供开放式架构设计，对外开放易集成的API调用接口，可以提供给第三方应用程序如集控系统集成调用：图16 API接口功能示意图6.3融合联动随着社会经济不断发展，国家政府注意力集中到民生工程上，更加快速有效解决突发公共安全事件各级政府计划一项重要议题，催生了“政府应急联动”的概念，政府应急联动目的就是建立一套政府部门有效联动机制，科学、有序、高效地去解决突发公共安全事件。应急联动解决方案中最基础的业务通信平台就是视讯会议系统、语音通信系统及图像监控接入系统，三大系统能够有效融合联动，保障上层应急联动业务有效执行。图17 应急联动系统框架图应急联动平台能够实现的基础应用场景：通过视讯会议系统召集应急指挥领导入会，管理员通过监控系统把事件发生地图像实时推送到视讯会议系统中进行集中讨论决策，领导通过语音系统包括固定、移动电话方式协调指挥相关的救援人员实施任务。经过实践考验通过应急联动基础业务通信平台政府机关能够联动有效解决一些突发事件，类似突发事件也会在企事业单位所管辖的范围内呈现，所以视讯/语音/监控系统融合联动方案不断地被很多企事业单位所接受并安装实施。视讯/语音/监控融合联动方案应用范围在不断地扩大，因此与语音/监控系统融合联动理应成为高清视讯系统的一个重要特性。随着IP宽带网络普及，视讯会议运行网络都往IP网络上迁移，目前IP网络视讯会议标准协议是H.323，宽带语音系统接入系统主流协议为SIP协议，由于SIP协议灵活性及业务可展性，非常适合监控系统的业务要求，所以主流监控系统从杂乱无章的私有协议向统一标准SIP协议在过渡。这样要求基于宽带网络的高清视讯系统能提供SIP协议网关接入模块融合语音与监控系统，协议网关接入模块（参见下图“网关”）具有H.323与SIP信令转化功能：图18 H.323/SIP信令转换示意图7高清视讯系统建设建议高清晰视讯会议系统的出现已经给经理人士和视频会议专业人士留下深刻的印象，有了高清晰的视频和空间感的声音，把多媒体通信提升到一个新的层次。由于高清视讯系统价格不断调整及建网条件的逐渐成熟，必将在视讯会议行业起着主导作用。所以用户在资金条件容许的情况下应该优先采购支持高清视讯系统的设备，以保护未来投资，同时为未来节省建设资金。用户建设高清视讯系统时，假设碰到某些节点带宽暂时无法满足要求，可以采用选择以下一种或者多种方法接入高清视讯系统中：1、降低辅流帧率，辅流帧率在35帧可以满足观看培训胶片的要求；2、降低图像分辨率如4CIF，这样可以有效节省带宽同时也能满足用户加入会议的需求；3、降低活动图像帧率，根据实践15fps的码率可以基本满足会议图像观看需求。小结上面我们从视频会议系统原理与应用的角度对高清视讯系统进行了介绍，高清视讯建设是一个系统工程，需要从实际应用出发，对建声设计、会议室装修、灯光、音响、显示设备等多方面进行有机地结合，而不是将简单的将高清视讯设备进行堆叠，只有科学合理的建设，象思科的网真那样，提交出一套整体解决方案，才能达到我们预期的目的。参考资料：高清晰度彩色电视技术 黄宏升等编著 国防工业出版社出版达芬奇技术数字图像/视频信号处理新平台 彭启琮 主编 电子工业出版社出版张学林 山东广播电视大学现代教育技术中心高级工程师通讯地址：济南市舜耕路10号邮编：25001416