基于态势感知理论的可视化感知模型.doc

基于态势感知理论的可视化感知模型吴佳鑫 王健海（武汉大学信息管理学院，武汉，430072）摘要 态势感知是在一定的时空范围内，获取和理解环境中的各种要素的信息并对环境的未来状态进行预测的过程。可视化技术的应用可以增强态势感知，本文从态势感知理论出发，分析了可视化与态势感知之间的关系，构建了可视化感知模型，该模型包括态势感知需求分析、数据与知识提取、态势可视化与视图交互、态势感知、决策制定与执行五个阶段，最后探讨了可视化感知模型中的关键问题。关键词 信息可视化 态势感知 可视化感知 可视化模型分类号 G350 TP391A Visualization Awareness Model based on Situation Awareness TheoryWu jiaxin, Wang jianhai(School of Information Management, Wuhan University, Wuhan 430072, China)Abstract Situation awareness is the perception of the elements in the environment within a volume of time and space, the comprehension of their meaning and the projection of their status in the near future. Visualization could enhance situation awareness greately. Based on situation awareness theory, this paper analysies the relationships between situation awareness and visualization, then a visualization awareness model is constructed. The model consists of 5 stages as situation awareness requirements analysis, extraction of data and knowledge, situation visualization & interaction, situation awareness and decision making & enforcement. At last the key problems of visualization awareness are presented. Keywords Information Visualization, Situation Awareness, Visual Awareness, Visualization Model信息可视化是运用计算机图形或图像处理技术，将信息转换为图形或图像在计算机屏幕上显示出来，并进行交互的理论、方法和技术1。在决策的过程中，人对环境中信息的感知、理解和预测的过程被称作态势感知（Situation Awareness）。态势感知过程中人通过听觉、视觉、触觉感知信息。信息可视化是重要的视觉感知手段，能充分调动决策者的认知能力，强化对信息的感知和理解，被广泛应用于态势感知系统中。本文从态势感知理论出发，探讨可视化与态势感知的关系，构建可视化感知模型并分析可视化感知过程中的关键问题。1 态势感知概述态势感知这一概念源于航天飞行领域的人因（Human Factors）研究，此后在军事战场、人员培训、错误分析、复杂系统设计、群组工作等领域得到广泛应用2。态势感知是从时间和空间的角度，获取环境中的各种要素，理解这些要素并对其未来的状态进行预测的过程3。该定义由Endsley在1988年提出，随后在1995年Endsley对态势感知理论及态势感知的评价方法进行了系统的研究，构建了态势感知理论基础，态势感知理论模型4如图1所示：态势感知包括三个层次：感知层（Perception）、理解层（Comprehension）、预测层（Projection）。（1）感知层：负责对环境中的各种要素进行感知，包括环境的状态、属性以及环境的动态变化等。这个层次的活动由人的视觉、听觉、触觉等感知器官完成。（2）理解层：建立在感知层之上，衡量环境要素对于达成目标的重要程度，并将各种要素综合起来加以理解。（3）预测层：态势感知的最高层次，是在感知层和理解层的基础上，预测环境中各要素下一步的状态和行为。图1. Endsley的态势感知理论模型4态势感知的过程充分利用了人的感觉记忆（Sensory Memory）、短时记忆（Short Term Memory）和长时记忆（Long Term Memory）能力。感觉记忆负责采集环境中的要素，得到原始的感觉信号；短时记忆对这些信号进行存储和理解，识别其含义和重要性；在进行综合理解和预测时，需要从长时记忆区提取相应的图式（Schema），这些图式是对环境综合理解和预测时决策者所需的各类知识；态势感知的最终目的是支持决策的制定和任务的执行。随着环境复杂度和动态性的提高，决策者需要借助态势感知系统理解和预测当前环境，进而做出准确的决策。2 可视化与态势感知的关系许多态势感知应用系统，如航空控制、军事训练、安全态势感知、网络态势感知等，都广泛地使用了可视化技术5678。可视化模块已成为各类态势感知系统的关键模块，因此可视化与态势感知具有很强的关联性，这主要体现的在：（1）可视化是决策者态势感知的方式决策者在获取环境信息时，通过视觉获取信息是重要的方式，与听觉、触觉和嗅觉相比，视觉处理的信息量最大，可视化为决策者态势感知过程提供视觉感知手段。（2）可视化增强决策者的态势感知决策者采用可视化视图进行态势感知，易于识别和理解环境中的要素、要素之间的关联、要素的发展趋势，使态势感知能力得到增强。（3）可视化支持态势感知的各个层次通过对环境信息的隐喻和映射，可视化可以支持感知层；通过对环境要素的统计、关联、趋势等信息的可视化，可以支持态势感知的理解层；对预测所需的方法、概念、步骤等知识进行可视化，可以支持预测层。3可视化感知模型态势感知理论的产生背景是航空飞行和军事领域，用于支持飞行员和指挥官的快速决策。这些领域内的决策任务往往具有很强的时限性和空间特征，需要在短时间内观察环境的各要素及其变化，理解这些要素并预测态势的下一步状态，以进行决策的制定和执行。在这些场景下，态势感知的优劣程度，决定了决策的准确性。尽管这些领域与通用的信息领域有一定的不同，但在信息的感知、理解和预测上，具有很强的共性。态势感知理论为可视化技术的应用提供了理论框架，下面将从经典的信息可视化模型出发，分析态势感知框架下可视化流程的特点，并构建可视化感知模型。Card提出的信息可视化模型9在信息可视化领域得到广泛认同（如图2所示）。在该模型中，原始数据（Raw Data）、数据表（Data Tables）、可视化结构（Visual Structures）、视图（Views）构成了可视化流程中的四个阶段，通过三类变换：数据变换（Data Transformation）、可视化映射（Visual Mappings）、视图变换（View Transformation）实现各阶段的过渡，用户针对特定的任务（Task）与可视化流程交互。图2. 信息可视化模型9Card的信息可视化模型通用性很强，是所有信息可视化流程中公共特征的抽象。但通过引入态势感知理论，信息可视化过程在数据层、可视化视图、视图交互上都具有典型的特征。3.1 态势感知理论对可视化过程的要求（1）数据层信息可视化模型中的数据表是领域无关的界定，从态势感知理论中的三个层次出发，可以将数据层中的数据分为三类： 环境要素数据根据决策任务和目标，决策者有目的地选取环境要素，获取要素的属性、特征和状态，形成标准数据表。从决策任务和目标出发定义可视化模型的数据层，可以保证数据采集范围的完整性，防止漏掉必要的环境要素数据。 统计与综合数据为了支持态势感知的理解层，要向决策者提供更高层次的环境数据。这些数据包括：要素之间的关联信息，要素在空间和时间维度上的统计信息，环境中各要素的综合信息。将这些信息进行可视化，使决策者全面理解环境状况。 态势感知所需的各类知识决策者在态势感知的理解层和预测层中，需要调用相应知识，如环境要素的知识、分析方法和预测方法。将这些知识进行可视化，可以提升决策者理解环境和预测的能力。（2）可视化视图在可视化模型中，数据采用合适的方式进行可视化表征并转化为可视化的视图供用户操控。在态势感知中，可视化视图是决策者感知环境的媒介，必须针对态势感知的特点，选取合适的视图策略。 概览视图与细节视图为了进行态势感知，首先要对整个环境进行感知，了解总体状况，因此必须提供概览视图，将环境、环境的属性、环境中各要素展示出来。细节视图用于展示具体要素的细节信息，包括要素的位置、当前状况、要素属性、状态变化等。 多视图共存人脑的短时记忆区在接受了外部信息后，信息保持的时间很短暂。采用单视图策略时，当需要获取其他环境信息而打开另一个视图时，上一个视图将被覆盖，对上一视图的短时记忆会快速消失。为了减少这种冲突，需要采用多视图策略，将相关联的可视化视图同时展现。大型显示媒介的出现，为多视图可视化提供了硬件支撑。多视图的选取策略可以从关联性、解释性、逻辑性和过程性的角度进行。1）关联性是指视图之间存在一定的关联关系，如概览视图和该视图中的细节视图，同类元素的比较视图等；2）解释性是指视图之间具有解释的关系。以环境分析可视化视图和及相关知识的可视化视图为例，后者为解释视图，帮助决策者理解环境分析方法的特点、作用和分析视角；3）逻辑性是指视图之间具有一定的逻辑关系，如时间先后关系、因果关系、依赖关系等；4）过程性是指多个视图通过一个过程统一起来，每个视图代表过程的不同环节。（3）视图交互 视图交互的类型态势感知理论通过引入感觉记忆、短时记忆、长时记忆，解释了人对环境的认知过程，这个过程中视图交互扮演了重要的角色，通过视图交互人根据自己的需求获取不同层面、不同粒度的环境信息。视图交互可分为两类：人与视图的交互和视图间交互，人与视图的交互又可以分为人对视图的交互和视图对人的交互两类。人对视图的交互包括：设定视图的属性、缩放视图界面、选择视图元素等，这类交互过程是人在注意力（Attention）指引下的有意识的行为，交互过程中操作的可视对象和视图可以被有效地理解。视图对人的交互体现在视图对人视觉的刺激上。视图主动发出信号，提醒或指示人注意视图中的对象、视图的变化和视图的外观，这种提醒和指示可以保证用户对信息注意力。Lamme等发现通过指示和提醒可以让人关注可视化视图上的关键点，而不会视而不见10；视图间的交互体现在多个视图在行为上的关联性和一致性，如对概览视图的选取会影响细节视图的外观，对对象的选取会影响对象视图的展示等。这种交互可以引发人对信息的关联性的认识。 视图交互的过程可视化视图交互的过程是为了增强决策者的态势感知，由于态势感知的分层特性和可视化交互过程的循环特性，使视图交互过程具有宏观的顺序性和细节交叉性。1）宏观顺序性态势感知的三层中，高层态势感知是以底层态势感知为基础的，因此在选取视图交互策略时，应首先以感知环境中的要素为目的进行视图交互，感知环境信息；再以综合理解各要素为目标与视图交互，发现要素的重要性和关联关系，衡量要素在目标中的作用；最后以预测态势为目的进行视图交互，此时需要将态势信息与相应的预测模型、方法和知识关联起来。2）细节交叉性视图交互的过程不是绝对的顺序性，在交互细节上，后续阶段可能会回到上一阶段，以获所需的细节信息。例如在预测层也要回到理解层和感觉层，对新的态势要素或被忽略的态势要素进行感知和理解。3.2可视化感知模型态势感知为可视化的应用提供了理论框架，将可视化过程融入到态势感知框架中，可以形成相应的可视化感知模型，如图3所示。该模型包括五个阶段：态势感知需求分析、数据与知识提取、态势可视化与视图交互、态势感知、决策制定与执行。下面对每个阶段进行阐述。图3. 可视化感知模型（1）态势感知需求分析要采用可视化技术支持态势感知，首先要进行态势感知需求分析，分析过程中要专注于环境本身和决策者的目标。态势感知的需求分析是一个逐步细化的过程，具体步骤如下：首先选取决策者，由其定义目标；对于较大的目标划分为具体的子目标；对每个子目标，为其划分任务（完成该目标要执行的任务）；定义每个任务所需感知的环境要素、要执行的交互行为和应具备的知识。态势感知需求分析是进行态势感知可视化的基础，它界定了可视化的数据源、可视化视图和视图交互的范围与内容。（2）数据与知识提取这一阶段要采用各种方法和技术提取：环境要素数据，环境要素的各类统计和综合数据，决策活动中积累下来的、态势感知过程中所需的相关知识。这些数据与知识在提取完成后以标准数据表的形式存储。（3）态势可视化与视图交互在第二阶段形成的标准数据表的基础上，采用各种可视化技术对环境元素、统计综合数据和相关知识进行可视化。可视化的流程符合通用信息可视化流程，但在可视化数据的类型、可视化视图的多视图特征、可视化视图的交互上要符合决策者态势感知的需要。可视化功能的实现应以任务为中心，为同类任务设计可视化视图，采用多视图策略，将完成该任务所需的环境信息、要素信息、统计综合数据和知识按照视图间的关联性、解释性、逻辑性和过程性进行组织，并提供视图交互功能。（4）态势感知决策者根据决策目标和任务与可视化视图交互，进行态势感知。环境要素可视化是三级态势感知基础；统计综合数据可视化则为理解层的基础；知识可视化作为解释性、支撑性的功能，是对决策者知识的外化，需要支持全部三层态势感知，尤其是对理解层和预测层的支持，因为这两层需要充分利用决策者的相关知识。（5）决策制定与执行通过与可视化视图的交互，决策者进行了充分的态势感知后，开始进入决策制定与执行阶段，执行过程会改变决策者所处的环境，而目标也会因为决策执行的完毕发生新的变化。环境和目标的变化，要求重新进行态势感知需求分析，对目标、任务、交互操作进行新的分解，回到第一阶段，开始新的可视化感知流程。4 可视化感知设计的关键问题可视化感知模型中可视化视图的设计既包括技术因素（计算机技术、图形图像技术），又包括人的因素（认知能力、认知心理、个人偏好）。在视图设计过程中，存在以下关键问题。（1）复杂的环境与有限的屏幕空间在复杂的环境下，要素数量、动态性和复杂度都急剧增加，决策者要感知的数据的量与可视化视图有限的屏幕空间成为一对矛盾。尽管出现了大型显示屏，但其所能呈现的信息的量仍是有限的。为了解决这个问题，从态势感知的角度上看，应该为决策者提供更高层次的态势感知信息，来降低可视化视图所要展示的信息的量。具体方法是抽取决策者所需要的、经过统计和综合了的环境信息，使用支持态势感知理解层和预测层的可视化视图，降低决策者所需感知的信息的量。（2）可视化视图与人的认知心理可视化视图包含颜色、形状、线条等视觉元素，当这些元素的数量过多时，会造成决策者的“信息过载”，超出其认知能力，增加认知负担，造成心理压力并导致态势感知失误。因此平衡视图内容与认知效率和效果，也是态势感知可视化的关键问题。解决该问题必须以人的视觉认知过程为基础，吸取视觉认知心理研究成果，设计出符合用户认知能力和认知过程的可视化视图和交互过程。较为有效的设计原则有：采用多视图策略分解复杂信息，采用宏观和细节方式对信息进行迭代式的展示；采用合适的颜色和隐喻突出视图中的关键内容，增强决策者对主要内容的注意力；尽量保证视图的稳定性，避免视图的移动和变化，降低人在追踪动态视图过程中产生的认知负担；减少获取相关信息的步骤，必要情况下让关键视图始终呈现，如在屏幕上放置一个边栏，展示最重要的环境要素和摘要信息。（3）可视化感知系统评价为了优化可视化感知系统，必须设计一套可视化感知功能评价方法，确定可视化功能对决策者态势感知的支持程度。可视化感知功能的评价可以利用已有的态势感知系统评价方法，其中较成熟是SAGAT方法（the Situation Awareness Global Assessment Technique，态势感知全局评估技术）11，SAGAT的过程是：首先采用GDTA（Goal-Directed Task Analysis，目标导向任务分析）方法分析出达成目标所需要的各类信息，然后将这些信息分为三类（对应态势感知的三个层次）；然后根据这些信息设计问卷，问卷须全面覆盖态势感知所需的信息；接着让决策者使用可视化态势感知系统，并随机地中断决策者的操作过程，并隐藏系统的可视化视图（使其无法从界面上获取信息），出示问卷让决策者回答，例如是否通过刚才的可视化视图获取了某类信息；持续这个执行操作中断回答的过程，直到所有问题都回答完毕，根据决策者的回答情况对可视化态势感知系统地功能进行评价。采用SAGAT方法可以对态势感知系统的可视化视图进行评价，但通过问卷识别决策者对环境的理解和预测情况相对较难，因此往往难于评价决策者在理解层和预测层的态势感知效果。5 结语态势感知是决策制定前关键的认知环节，态势感知理论将人的认知能力和系统的信息处理能力有机地结合在一起。可视化技术可以有效地支撑决策者态势感知的完成，本文从可视化技术与态势感知理论相互关系出发，提出了一个可视化感知模型，该模型描述了态势感知系统中可视化功能的作用机理和实现过程，但该模型的有效性还有待于进一步的验证，在今后将对该模型作进一步的细化，并深入研究态势感知过程中支持理解层和预测层的可视化技术和方法。参考文献：1 周宁,杨峰,刘玮. 数字图书馆可视化接口方法探讨J. 中国图书馆学报，2004(4):62-662 Salmon P, Stanton N, Walker G, et al. Situation awareness measurement: A review of applicability for C4i environmentsJ. Applied Ergonomics 2006(37):225-2383 Endsley M R. Design and evaluatioin for situation awareness enhancementC. In:Proceedings of the Human Factors Society 32nd Annual Meeting. Santa monica, CA:Human Factors Society,1988:p97-1014 Endsley M R. Toward a theory of situation awarenessJ. Human Factors, 1995,37(1):p32-645 闫鲁生，白天明，王硕.基于可视化的安全态势感知J.通信技术，2008，41(10).6 Endsley M R,Erik S.Situation Awareness: State of the ArtC. Power and Energy Society General Meeting - Conversion and Delivery of Electrical Energy in the 21st Century, 2008(7):1-47侯锋，张军，李国辉.共用战场态势信息系统研究综述J.测绘科学，2007，11(6)8 刘晓平，石慧，毛峥强.基于信息可视化的协同感知模型J.通信学报，2006,11(27)9 Card S K, Mackinlay J D, Shneiderman B. Readings in Information Visualization: Using Vision to ThinkM. San Fransisco: Morgan Kaufmann,199910 Lamme V A.Why visual attention and awareness are differentJ.Trends in Cognitive Sciences,2003,7(1)11 Endsley M R.Situation awareness analysis and measurementM. Mahwah, NJ:Lawrence Erlbaum Associates,2000:147-173（作者Email：logofish）