信息系统开发评价方法.ppt

《信息系统开发评价方法.ppt》由会员分享，可在线阅读，更多相关《信息系统开发评价方法.ppt（75页珍藏版）》请在三一办公上搜索。

1、信息系统评价方法,第一节 系统评价概述,第二节 信息系统评价指标体系,第三节 信息系统评价方法,第四节 层次分析法（AHP）,第一节 系统评价概述 1 系统评价的定义 使用某种方法和相关指标体系对一个系统或系统建设的某一周期进行全面的估计、检查、测试分析和评审的过程。,2 评价的目的,开发部门：促使开发单位对系统建设全过程加强管理和控制。上级部门：可对系统的投资目标完成情况做出准确的判断，以便 于对后期系统建设进行决策。用户单位：通过评价，可对系统功能、性能情况有较深入了解，以利于系统后期的运行、扩展、改进。,3 系统开发不同阶段的评价活动事先评估 这是一种预测性评价，通常与项目的可行性论证、

2、系统招标评审等活动结合在一起。可行性研究是通过了解和掌握系统所处的环境、约束等条件，分析新系统开发和运行的投入，以及可能产生的效益，达到研究建立信息系统的必要性、可行性和收益性的目的。步骤：对现有系统进行分析，了解基本情况及不足之处，提出建立新系统的设想，明确建立新系统的必要性；从新系统可能采取的新技术和运行模式出发，对技术、运行内外环境、资源条件等进行分析，明确建立新系统的可行性；对信息系统的经济效益做出预测，明确建立新系统的收益性。,这些构成了新系统开发的基本评估的量化数据，也是今后评估的主要依据。如果是外包项目，可行性研究中的主要内容和数据应构成经济技术合同书的重要组成部分。,可行性研究

3、经常与招投标过程相结合，在可行性研究报告中，除包含必要性、可行性和收益性分析外，还要阐述系统开发、系统运行的基本保障数据，主要评估的量化数据有：,中期评估,中期评估也称为工作阶段的评估。目的是将已实现的部分开发工作与计划目标相比较,及时找出差距，纠正偏差，将错误消除在早期。同时阶段评估又含有阶段考核、评审的重要意义。具体可分为：,逻辑设计评估：（系统分析）,总体结构的先进性和合理性；系统功能对用户需求的满足程度；数据流图、数据结构等的规范性、完整性。,系统硬件配置方案设计；系统软件平台（系统软件、工具软件）方案设计；数据库和文件系统设计；I/O、网络通信方案设计；算法、处理逻辑设计。,物理设计

4、评估：（详细设计）,系统实施评估：（编程）,硬件系统的测试及评估；应用软件的测试与质量评估。,事后评估,根据新系统所产生的一系列设计规格说明书，对照实际开发和运行的情况，对系统进行全面、综合的测试、分析、检查和评估，往往需要组织一支专门的队伍，用专门的时间进行细致的考核，或称鉴定，或称验收。,功能度评估：功能度评估是对系统能力的评价，主要包含：对企业业务覆盖情况、辅助企业管理的能力、辅助企业决策的能力，系统功能的质量如何，所蕴含的管理思想是否合理等。性能度评估：性能度评估是对系统运行质量的考核，其主要包含:系统运行的稳定性、数据的精确性、安全保密性、共享性、使用的灵活方便性、系统的可扩充性、可

5、维护性、经济性等。,绩效评估：信息系统的绩效可以定义为：信息系统对企业目标实现的贡献度，绩效是信息系统对企业价值的综合表现。为了评价企业信息系统绩效，必须设立绩效指标，利用绩效指标来监控信息系统的开发过程和行为，从而优化系统的绩效指标。常用的绩效指标有：系统投资回收期、系统收益与系统费用比率、内部收益率、系统使用率、功能应用率等。,第二节 信息系统评价的指标体系,系统评价指标体系,系统性能评价指标,系统建设评价指标,系统应用评价指标,规划目标实现程度先进性经济性资源利用率开发方法与效率管理模式的科学性系统建设的规范性,系统的可靠性系统效率性系统可维护性系统可扩充性系统可移植性系统可恢复性系统的

6、安全保密性,经济效益社会效益管理科学性用户满意度系统功能应用程度,系统功能评价指标,功能的完整性系统容错能力信息的准确性信息的一致性信息的实时性操作的友好性,系统建设评价指标,目标实现程度：评价系统的规划目标与用户的期望目标的差异度，该指标通常由专家、用户、同行等根据系统规划的目标树进行打分，经加权统计得到。先进性：评价系统从总体设计、开发方法、系统结构、软硬件配置、算法设计、网络通信技术等，该指标通常由专家组进行综合评议。经济性：该指标根据实际系统的性能、功能与系统投资比及系统运行所产生的收益加以分析而获得。资源利用率：该指标主要考核系统设备使用率、数据使用率、应用模块的使用率等，目的为考核

7、系统的使用状况。,开发效率：开发效率与开发者的经验、开发方法、资金投入、用户支持度及项目管理水平等因素密切相关，该指标可用软件功能点方法或代码行法等计算。管理模式科学性：该指标通常使用组织机构健全情况、系统人员的配备情况、各种规章制度的完备与执行情况等。系统建设规范性：该指标考核系统开发过程是否遵循国际标准、国家标准、规范程度及文档的标准化、齐全度。,系统功能评价指标,功能的完整性：该指标表示系统覆盖企业业务的情况，通常用 系统已包含业务总和与企业业务总和之比。系统容错能力：该指标反映系统各功能对用户误操作后的系统处理能力。信息的准确性：该指标反映系统各功能对数据的处理的正确程 度，该指标是考

8、核系统功能的重要指标。信息的一致性：该指标反映系统各功能对数据的处理的一致性 程度，该指标是考核系统功能的重要指标。,信息的实时性：该指标表示系统功能对企业数据处理的实时能 力，该指标对于实时性要求较高的系统，十分 重要。操作的友好性：该指标反映系统各功能对用户操作中的系统系统提供的操作流的合理性。,系统性能评价指标,系统的可靠性：该指标是对系统软硬件、网络平台的综合评价，可利用系统测试及试运行结果数据综合分析其公式为：可靠性=MTBF/（MTBF+MTTR）MTBF：平均故障间隔时间 MTTR：平均修复时间系统效率：该指标通常用系统的周转时间（对批处理作业的速度）、响应时间（对交互操作的应答

9、速度）、吞吐量（单位时间系统完成作业数）。通常响应时间对一般交互操作应大于0.5秒小于3秒。系统可维护性：该指标根据实际系统模块结构的合理程度、模块内聚性、模块的重用性及技术文档的齐备程度和提供维护工具的功能完备程度等，考核系统可维护性。,系统可扩充性：该指标主要考核系统对新增设备及新增功能的能力，其反映了系统结构、软硬件平台及网络平台设计的合理性。系统可移植性：该指标评价系统的软硬件配置特性、平台的通用性及系统设计的合理程度。系统可恢复性：该指标评价系统对系统出现故障时，系统的恢复能力（包括自动、人工恢复），反映系统设计的合理性。系统的安全保密性：该指标考核系统运行中出现意外事件，系统的抵御

10、能力及恢复能力，保密性是指系统对数据在存储、加工、使用、传输中的保密处理能力。,系统应用评价指标,经济效益：该指标考核由于系统运行而带来的直接、间接效益，如控制进货渠道、合理库存、节省人力、提高企业竞争力、增加市场占有率等所获得的经济效益。社会效益：该指标考核由于系统运行给企业带来的社会效益，如实现现代化管理、增加企业知名度、改善工作环境等。管理科学性：该指标考核由于系统运行对企业管理水平、管理方法、管理规范带来的变化，同时促进人员素质的提高等。,用户满意度：该指标主要考核用户对系统的功能的完备性及性能的达标率，如：人机界面的友好程度、操作的方便性、系统的容错能力、系统的灵活性等。功能应用程度

11、：该指标评价系统在企业实际运行的情况，其方法可以将各系统功能分解为若干功能点，再分析各功能点在企业运行中的使用率，将功能点使用率进行加权统计而获得。,第三节 信息系统的评价方法,目前我国对信息系统进行评价时，常用采用的方法主要有：专家评议法、成本效益分析法、层次分析法（AHP）。,专家评议法 专家评议法是一种以定性分析法为主的评价方法，该方法通常由下面步骤组成：项目评审准备：项目评审申请、审批、材料准备等。建立评议专家组:由计算机专业和涉及行业专家两方面人员构成。制定系统评价方案：由专家组制定评议方法、步骤、评价指标或标 准，指标可以是定性的，也可以是定量的。现场考察：专家对系统进行系统现场考

12、察如：听取系统开发报 告、现场系统演示、测试等，对系统进行分项打分，再进行加权统计。专家评议：由专家组给出系统的定性的系统评价分析报告。,专家评议法的主要优点是操作简单、省时，评价结果具有一定的权威性和可信性。主要缺点是理论依据不足，评价结果受人为的影响太大。,成本效益分析法,成本-效益分析法是面向经济的拟定量分析方法。评价过程中的量纲主要是货币单位。评价的目的通过分析信息系统经济性从而判断系统的得失和可取性，最终作出结论。该方法关心的问题是：在信息系统建成的若干年内或生命周期内，收益率的情况。信息系统项目的成本构成:Ct=Cd+Cr 其中:Cd:系统开发建设成本 Cr:系统运行维护成本,信息

13、系统成本构成示意图：,信息系统项目的机时成本计算:Cp=(s+d+m+p)*(1+h%)/t*k,人员工资费,设备折旧费,耗材支出费,能源、通信费,间接费用率,系统正常运行时数,设备利用系数,简单收益率和系统回收期指标 简单收益率R又称为投资效果系数，其计算公式如下：R=F/C 公式中F为：标准年度的净收益，其值为年收益与系统年运行成本之差 既：F=年收益-年运行成本 公式中C为：系统的先期投入 系统回收期指标P是考核信息系统效益的重要参数，计算公式如下：P=C/F 或 P=1/R P为系统回收期（以年为计量单位）例：150（万元）/25（万元）=6（年）一般信息系统的P值应五年，因此简单收益

14、率R应20%。,上述公式中净收益（F）中的年收益值的估算：信息系统的收益估算是一个复杂的问题，通常以下列几个方面进行考虑：信息系统的运行节省的人员。系统弥补了企业漏洞，避免的损失。减少库存资金占有，使企业获得更高的利润。系统支持企业快速、准确的决策信息带来的效益。系统促进企业管理的规范化，使企业加强了市场竞争力。带来 市场效应。系统的产品化（独立开发、合作开发方式）后的市场收益。,现金流量表与净现值,净现值NPV（Net Present Value）财务指标可用于考核一个系统在未来几年的价值，NPV参数与时间有关的关键因素是折现率 r。r可以用银行贷款利率来确定，也可以用行业的投资平均回报率来

15、给定。目前通常做法是采用国家规定的银行贴现率来确定。现值与n年后的终值有如下关系:终值=现值（1+r)n 或：现值=终值（1+r)n,如：今天的100元存入银行，在利率r=5%时，明年此时100元成为：100（1+0.05)1 105(元)同理，明年得到的100元，在利率r=5%时，在今天只相当于存款：100（1+0.05)2 90.70(元),现金流量表是反映一个系统不同时间段内各种资金流入（收回）和流出（付出）的二维表格。,净现值NPV（Net Present Value）：,若NPV大于零，则该系统经济上有效益或系统具有未来价值。若有两个项目，NPV1大于NPV2，则NPV1代表的项目或

16、方案要好于NPV2代表的项目。,内部收益率IRR（Internal Rate of Return）：,内部收益率 IRR是根据系统累计成本的现值和系统累计收益的现值情况计算出系统实际可接受的内部贴现率值r,通常ri时(i为国家实际贷款利率或贴现率),则系统从经济上是可以接受的。其计算公式如下：,其中：It为第t年系统支出成本额 Bt为第t年系统运行收益额内部收益率的r值求解时可将上列公式推导为以下形式：,由于：NCFt=COFt-CIFt 因此上面公式可推导为下式：,以上公式是当NPV=0时，公式中只有一个未知量r值，常用插入法求得r值：,取相邻且精度适宜的两个插入值I1和I2代入f（r）的r

17、中，并计算f(I1)和f(I2)，使f(I1)0，f(I2)0。用插入公式求IRR：,成本效益分析法是可行性研究中常用的评价方法，特别是现金流量表与净现值的分析方法基本上是不可少的。得到了现金流量表，也就可以得到NPV和IRR，再利用IRR与国家规定的内部贴现率值r进行比较，即可得出系统的建设价值。现金流量表包括流入和流出（收益和成本）两大部分，建立现金流量表并不难，难点是对信息系统效益的量化分析，这需要参与系统评价人员的经验和具体项目的分析。,层次分析法AHP(Analytic Hierarchy Process)以下简称AHP,目前AHP方法是一种国际上普遍采用的评估方法，在评估技术中占有

18、特殊的地位。自70 年代中期以来，AHP方法得到了较大的发展，在我国 AHP方法的应用和研究也十分广泛，许多国家重大科技课题、工程项目都采用AHP方法进行评估或评价。,第四节 层次分析法,层次分析法是定性与定量相结合的分析方法，或称拟量化（虚拟量化，准量化）的分析方法，可以广泛用于信息系统建设评价的各个方面。人们普遍认为，层次分析法是一种科学的，有较强实际意义的分析方法。,AHP力图模拟人在思维决策过程中的三个基本特征，即分解、判断和综合。基本步骤如下：,分解：将待评估问题分解为由若干层次指标构成的递阶层次模型；判断：构造该层次模型对应的数学模型即：层次指标关系比较矩阵；综合：计算单一准则下，

19、其各评判元素的相对权重并检查一致性；计算各层各元素对总目标的组合权重，并检查一致性。,一、分解,一个复杂的评估问题，可以逐层分解为若干个称之为元素的组成体。,例：,如果任一个上层元素都可以支配全部下层元素，则称之为完全的层次关系，若其中某些上层元素不能支配下层全部元素，则称之为非完全的层次关系。,二、判断,判断的目的是：评估各个底层元素对总目标的重要程度，构造该层次模型对应的数学模型即：层次指标关系比较矩阵；其具体方法是：针对评估模型建立与其相对应的数学模型（既判断矩阵），判断矩阵逐层建立。矩阵的建立过程是：在确定的上层元素支配下，下层元素两两做重要性的比较，通过两两比较，可以得到对上层元素的

20、一个比较矩阵，如果同层有n个元素两两比较，矩阵就是一个n阶矩阵。如上面的评估模型将需建立9个判断矩阵。,比例标度赋值的三个特点：aii=1；aij0；aij=1/aji,比例标度：判断约定采用19的比例标度赋值。含义如下：,如前例中有8个评价指标，其两两比较结果为：,上表中元素满足：aii=1；aij0；aij=1/aji,构造的比较矩阵：,从数学上讲可以有：,判断矩阵,我们的目的是测出各元素对于目标的权重，这里假设元素1对于目标的权重为w1；元素2对于目标的权重为w2；元素n对于目标的权重为wn，记为：,特征向量在AHP方法中的含义：,根据矩阵特征根的原理，若矩阵满足上式，则说明n是矩阵A

21、的唯一非零的、同时又是最大的特征根；而W是矩阵A的与最大特征根n相对应的特征向量。有两个问题需要解答：怎样得到权重向量W？在数学上，当A矩阵元素aij=aikakj=aik/ajk时，说明A矩阵具有完全一致性，（max=n，其余特征根为0）。但是在实际中会有偏差，需要知道偏差有多大？可否接受？,三、综合综合阶段的工作可分为求解单一准则下的相对权重、一致性检查、层次总排序三个步骤。,第一步：求解单一准则下的相对权重。,求幂法,1）设一个与判断矩阵同阶的正规化初始向量:W0=(1/n,1/n,1/n,1/n)T,2）对于 k=0,1,2,计算,3）令 计算 k=0，1，2,4）对于给定精确度当 成

22、立实则停止计算，取，W为求得的特征向量。,2）计算 的n次方根；其中n为每一行元素的个数,3）对向量 进行归一化，即算出：,方根法,1）计算判断矩阵A每一行元素的乘积；,（i，j=1，2，3，n）,（i，j=1，2，3，n）,（i=1，2，3，n）,例：有一个评估问题递阶结构如下，,两两比较构成判断矩阵为：,用方根法：,1、计算A 中每一行元素的乘积,M1=1*1/5*1/3=1/15M2=5*3*1=15M3=3*1/3*1=1,2、求M1，M2，M3 的三次方根（n=3）,3、对向量 归一化,这一步骤是求得单一准则下的特征向量W，即得到了各元素之间的相对权重，这组数字是否合理，必须进行一致

23、性检查。,特征向量：,第二步：一致性检查,层次分析法的一致性检验是来保证判断结果的合理性和可信性。一致性检验主要是利用最大特征根来判别。这是由于矩阵最大特征根与判断矩阵一致性具有内在的联系。判断矩阵的元素应满足如下条件:aij=aik/ajk(i,j,k=1,2,3,n)当矩阵满足上述完全一致性条件，矩阵具有唯一非零的最大的特征根max=n，其余的特征根均为零；当判断矩阵具备满意一致性（接近完全满足上述条件）时，max 会稍大于n，其余的特征根趋于零；,当矩阵偏离完全一致性，其特征根会发生相应的变化，可以利用判断矩阵的变化来校验其完全一致性程度。,求最大非零特征根：例：,若有max=n，其余特

24、征根均为零，则判断矩阵具备完全一致性。若maxn，为大于n的数值，则其余特征根之和为一个负值。因此检查一致性，实质上是检查其余特征根的负平均值。用除max之外的其余特征根的负平均值，作为衡量判断矩阵偏离完全一致性的指标(CI)即用：,作为检验判断一致性的指标。CI的值越小，说明max与n相差得越小，即判断矩阵根接近完全一致性。,由于矩阵阶数越大，完全一致性越难达到，为测量不同阶的判断矩阵的一致性，通常给出平均随机一致性指标RI，RI值可以通过下表查出。,当阶数大于2时，判断矩阵一致性指标CI与同阶平均随机一致性指标RI之比，即CI/RI的值称为随机一致性比率，记为CR。当随机一致性比率CR=C

25、I/RI0.10时，判断矩阵的一致性检查通过，即认为具有满意的一致性。否则应考虑并调整判断矩阵的元素值。,其余特征根之和：,求其负平均值，取正值为一致性指标：偏离完全一致性的指标：随机一致性比率,因为CR0.1，可以认为该矩阵的一致性可以接受。,查表获得,在求得各层元素对于上一层元素的相对权重之后，第三步的工作是要求得到底层元素相对总目标的组合权重，其计算步骤是,第三步:层次总排序,由上而下逐层进行,求第k层上的组合权重Wk应由本层相对权重Bk与上一层的组合权重Wk-1（当k=1时，Wk-1就是第一层对总目标的相对权重）的乘积求得，即：,Wk 就是k层上的各元素对于总目标的组合权重。,Bk为第

26、K层相对权重矩阵,Wk-1为第K-1层组合权重矩阵,举例：,设第K-2层对目标层的单一准则下的权重为a1,a2,a3，既为组合权重。设第K-1层对上一层的单一准则下的权重为b1,b2,b3,b4,b5,b6,b7,b8则组合权重为:b1 0 0 a1 b1*a1+0*a2+0*a3 c1 b2 b3 0*a2=b2*a1+b3*a2+0*a3=c2 0 b4 b6 a3 0*a1+b4*a2+b6*a3 c3 0 b5 b7 0*a1+b5*a2+b7*a3 c4 0 0 b8 0*a1+0*a2+b8*a3 c5逐层计算相对总目标的组合权重，直到方案层。,最后一步，计算k层的一致性比率：,k

27、层一致性指标：,k层平均随机一致性指标：,当CRk0.1时，认为可以接受。,其中：为k-1层相对目标层得组合权重向量。Cij为k层单一准则下的偏离完全一致性的指标,其中：为k-1层相对目标层得组合权重向量。RIj为k层单一准则下的平均随机一致性指标,设上例层次模型的三层组合权重向量分别为：第K-2层：W1w11,w12w13第K-1层：W2w21,w22,w23,w24,w25第 K 层：W3w31,w32,w33 其九个判断矩阵单一准则下的偏离完全一致性的指标分别为 CI1,CI2,CI3,CI4,CI5,CI6,CI7,CI8,CI9;,第K-2层的一致性的指标 CI1 既为CI1；第K-

28、1层的一致性的指标 CI2 为:CI2=w11*CI2+w12*CI3+w13*CI4 第K层的一致性的指标 CI3 为:CI3=w21*CI5+w22*CI6+w23*CI7+w24*CI8+w25*CI9 第K层的CI值既为偏离完全一致性指标的最终结果;用同样方法可以求出平均随机一致性指标RI和一致性比率CR。,第五节 AHP应用中的几点说明,层次模型的建立指标集的建立权重集的确定无量纲化方法综合评估,1、层次模型的建立,指标体系应是一个定性与定量相结合、具有层次对应关系的量标系统，它由指标集和权重集有机组成。指标集 是由能反映评价客体某种特质的因素组成、定性与定量相结合的标准系列。权重集

29、 是指按指标的层次对应性有序排列而成的权重值表，而权重值则是与每一指标相对应的加权值。,1）建立指标集的基本原则方向性原则：是指评价对评价对象应具有指引、导向的作用，即评价的指标体系，特别是其中多项指标权重的确定，具有较强的导向作用、目的明确。科学性原则：要力求客观、真实、准确地反映评价对象的本质属性。可行性原则：即可操作性，要求评价指标条目有限、内容简洁、适合实际和方法可行。可比性原则：主要体现在两个方面。一是层次性，二是可量化性，即指在对两个以上对象进行评价时，其指标和评价结果必须具有可比较的性质。,单项评价与综合评价结合的原则：在评价时，既要考虑被评价对象各个侧面，又要考虑到这些侧面之间

30、的相互关系，从总体上对被评价对象进行分析评价，评价指标的选取要比较全面。定性与定量相结合的原则：既要把握被评对象“质”的一面，对其进行定性分析，又要把握住被评对象“量”的一面，对其进行量的分析，并从量和质统一的角度，对评价对象做出科学的结论。静态与动态相结合的原则：既要立足于被评对象的现有状态（已达到的水平或具备的条件），又要充分考虑到它的过去和未来的发展。,2）权重集的确定,选择专家，专家的质量将直接影响到结果的准确性、可信性。一般情况下，选本专业领域中既有实际工作经验又有较深理论修养的专家5到10人。将待定权值的指标和有关资料以及统一的确定权值的规则发给选定的各位专家，请他们独立地给出各指

31、标的权值。回收结果并计算专家填写判断矩阵的有效率及各指标权值的均值。,将计算的结果及补充资料返还给各位专家，请专家重新确定权值。重复上述3、4步，直至专家给定权值的有效率符合预先给定的标准为止。以此时各位专家给定的指标权值的均值作为该指标的权值。,3、无量纲化,一个指标体系中的指标通常存在着异量纲的情况，直接将它们加权平均是不合理的，也没有实际意义，因此考虑将指标值转化为无量纲的相对数比重，同时数值大小范围在0，1内，这种去掉指标量纲的过程，称为数据的无量纲化（也称为数据的规格化），它是指标综合的前提。如果我们把指标无量纲化后的数值称为指标评价值，那么无量纲化过程就是指标实际值转化为指标评价值

32、的过程。,无量纲化方法可归结为三类：直线型、折线型和曲线型无量纲化方法。,1)直线型无量纲化方法常用的直线型无量纲化方法有：阀值法、标准化方法和比重法，其特点是简单、直观。,阀值法：阀值也称临界值，是衡量事物发展变化的一些特殊指标值，比如极大值、极小值、满意值、不允许值等。阀值法使用指标实际值与阀值相比得到指标评价值。,比重法：是将指标实际值转化为它在指标值总和中所占的比重，其公式为：前者适合指标值均为正数的情况，而后者适合于指标值有负值的情况。,直线型无量纲化方法的实质是假定指标评价值与实际值成线性关系，评价值随实际值等比例变化，即在事物发展的前期和后期指标值相同的变化量引起评价值的变化量是

33、相同的。而这一点与事物发展变化的实际情况可能不符合，这也就是直线型无量纲化方法的最大缺陷。,2)折线型无量纲化方法 这种方法适合于事物发展呈现阶段性，指标值在不同阶段变化对事物总体水平影响是不同的。构造折线型无量纲化方法与直线型不同之处在于必须合理地找出事物发展的转折点的指标值并确定其为评价值。3)曲线型无量纲化方法 有些事物发展阶段性的分解点不很明显，而前中后各期发展情况又截然不同，也就是说指标值变化对事物总体水平的影响是逐渐变化的，而非突变的，这种情况下，曲线型无量纲化公式更为适合。,有了层次模型中各项评价指标的权值和统计而得的指标值就可以进行综合评估了，最常见的综合算法都是与平均值有关的

34、，加权算术平均、加权几何平均，以及算术平均与几何平均联合使用等。,3、综合评估,例:,填写判断矩阵对上述模型设有专家填写了如下判断矩阵：专家001,专家002,判断矩阵的一致性检查专家001,最大特征值=5 一致性指标值=一致性比率=,专家002,最大特征值=5 一致性指标值=一致性比率=,经单层判断一致性检查通过后，还应继续进行总层一致性检查。若要进行总层一致性检查需对层次模型中的所有判断矩阵进行举例填写，并逐一进行单层一致性检查后再进行总层一致性检查。考虑到科技管理信息系统的整个层次模型较大，数据过多，若一一进行陈列过于繁琐，因此，在此不再描述。现任定两位专家填写的判断矩阵通过了总层一致性

35、检查，其单层层次计算的结果可用于综合评估计算。,总层一致性检查,确定权值 用算术平均发求得最终权值。其结果如下：,数据提取 设提取了5个院系的数据：,无量纲化 采用直线型无量纲化方法的比重法既：将所以未量纲数据求其比重值，如一系B1项为6，其比重值是6/29=20.69%。,综合评估:将无量纲化后的数据与权值先相乘，再对各个院系按准则求和，得到综合的拟量值和最终的排名结果。,评估技术是一类应用性很强的软技术,为了保证评估质量、提高评估水平、对多种复杂的对象进行科学的评估需使用多种评估方法。近年来，围绕着多指标综合评价其他领域的相关知识不断渗入，使得多指标综合评价方法不断丰富，例如：,5、评估方

36、法的研究现状,20世纪60年代产生的模糊数学在综合评价中得到了较为成功的应用，产生了适合于对主观或定性指标进行评价的模糊综合评价法。多指标综合评价中比较难以解决的是综合时各指标间信息的重复问题，近几十年来迅速发展的多元统计分析为解决这一问题提供了可能性，因而产生了主成分、因子评价法。,由于评价对象的多样性及评价的决策作用，多目标决策方法也溶入到综合评价中来，比如功效系数法，层次分析法等，开阔了评价方法的思路。运筹学的发展，将投入和产出指标分离开来评价部门间相对有效性的数据包络分析方法，在对非单纯盈利部门进行评价时可取得较好的效果。信息论、灰色系统理论等也渗透到综合评价中来，产生了熵值法、灰色关联度评价法等。多维标度分析及空间统计学的发展提高了统计分析技术上的整合能力，使多目标综合评价方法的应用更加深入。,在评估过程中往往存在大量模糊的概念，比如方案的优劣、水平的高低、成绩的好坏等等，这类评估结果（优与劣、高与低、好与坏）之间并没有泾渭分明的界限。评估过程常常与这些模糊信息打交道，因此，目前评估方法多用拟定量方法为主。,