第九章培训有效性评估教材课件.ppt

第九章 培训有效性评估,第一节 培训有效性的概述,一、培训有效性的主要概念和主要内容培训有效性是指公司和员工个人从培训中获得的收益。对员工个人来说，收益意味着新的知识和技能，对于公司来说包括销售的增加，顾客满意度的增加等。培训有效性的定义为“系统的收集必要的描述性和判断性信息，以帮助作出决策、使用和修改培训项目的决策”。,二、培训有效性的目的,体现人力资源管理的效益性。通过有效性评估，反映培训对组织的贡献，并以此体现人力资源部门或培训部门在组织中的重要作用。主要是从“成本中心”到“利润中心”的转变。决定继续进行或停止某个培训项目。获得如何改进某个培训项目的信息.对参加者的知识、技能、态度的接受与更新能力，综合素质与潜在发展能力的评价。,三、培训有效性评估的战略点 1、培训有效性评估的侧重点,2、培训有效性评估的两种形式,过程评估。为了改进培训过程所作的评估，它的主要目的一是确保培训组织良好并顺利进行，而是保证学员能从培训项目中有所收获并对项目满意。综合评估（结果评估）。评估的是学员在培训后的变化程度。结合所学的绩效考核的知识思考一下培训有效性评估中的过程评估和综合评估各自起到了什么作用，适合在哪种情景下使用。,四、培训有效性评估的过程,第二节 培训有效性评估模型,一、五种评估模型简介1柯克帕特里克的四层次评估模型(1959年)柯氏模型是迄今为止国内外最著名、运用最广泛的模型。柯克帕特里克从评估的深度和难度将培训效果分为四个递进的层次反应(reaction)、学习(learning)、行为(behavior)、结果(results)。2CIRO模型（1970年）该模型由沃尔、伯德、雷克汉姆三位专家提出，它描述了四种基本的评估级别，即背景评估(Context evaluation)、投入评估(Input evaluation)、反应评估(Reaction evaluation)、产出评估(Output evaluation)。,3Lawshe的满意效用比（CVR Content Validity Ratio）模型（1975年）满意效用比评估是先有一定的培训人员和老师以及刚完成培训的学员根据KSAO（知识、技术、能力和其他人员特征）运用头脑风暴法进行指标体系的建立，然后运用专家打分法对KSAO指标体系进行评估，根据统计得到的数据，运用CVR方法进行计算。CVR=（认为选定的KSAO指标重要的专家数认为选定的KSAO指标不重要的专家数）/参加评估的专家总人数。,4舍贝克和科恩提出的培训绩效评估的效用公式模型（1985年）培训效用=YDNTPDVNTC YD培训对工作产生影响的年数；PD接受培训者和未接受培训者在工作上的差异；NT接受培训的人数；V价值，对工作成绩的货币计算；C为每一位成员培训所支出的费用。舍贝克和科恩的效用公式将培训绩效评估用一个公式计算定量的表示出来，但效用公式中的YD、PD和V都是一些难以确定的模糊变量，在企业的实际操作中仍难以把握，并且测算出来的数据都是企业整体的效益指标，评估结果难以对个人或团队有较大的促进作用。,5菲力普斯的五级投资回报率(Five-Level R0I)模型（1996年）该模型分为以下五级评估反应和既定的活动、评估学习、评估在工作中的应用、评估业务结果、投资回报率。菲力普斯在柯克帕特里克的四级评估模型基础上，增加了一个第五级评估，形成了一个五级投资回报率模型。该模型是对柯氏四级评估模型的一种增补，继承了柯氏模型层层递进的优点，同时，又从投资回报率的角度对培训项目进行评估，将培训结果的货币价值以及培训项目的成本用百分比的形式表示，使评估结果量化性更强，更具说服力。但是，大多数培训对企业净收益产生影响都需要一定的时间，其作用不可能是立竿见影的。因此，若用这种方法得出的投资回报率的结果不理想，还要进行进一步的分析。投资回报率不高可能是培训的组织过程需要改进，更可能是外界环境发生了影响培训结果的变化，以及员工或企业的培训需求发生了变化。,二、柯氏评估模型简介,1、柯氏评估模型的4个层次：反应：参与者对培训项目的评价，原因在于受训者的反映是培训设计需要考虑的重要因素。学习评估是测量原理、事实、技术和技能的获取程度。行为改变是测量在培训项目中所学习的技能和知识的转化程度。结果评估是在组织层面上的评估。,2、培训结果指标,认知结果技能结果情感结果结果投资回报 明确培训结果指标与柯氏模型中各层次的对应关系。,三、反应评估,需要注意学员的反应。因为无论教师怎样认真细致地备课，只要学员对某些课题不感兴趣,他们就不会认真地进行学习；反应层评估是指受训人员对培训项目的看法，包括对材料、老师、设施、方法和内容等等的看法。反应层评估的主要方法是问卷调查。问卷调查是在培训项目结束时，收集受训人员对于培训项目的效果和有用性的反应。问题主要包括：对讲师培训技巧的反应对课程内容的设计的反应对教材挑选及内容，质量的反应对课程组织的反应 是否在将来的工作中，能够用到所培训的知识和技能,反应评估的作用,提供改进培训的建议和评价。区分是 让学员感到培训讲师和组织者对他们意见的尊重提供对培训看法的定量的信息，可以把这些信息反馈给管理层所反馈的消息作为培训教师以后培训的绩效标准提供参考 这一阶段的评估还未涉及培训的效果。学员是否能将学到的知识技能应用到工作中去还不能确定。但这一阶段的评估是必要的。培训参加者的兴趣，受到的激励，对培训的关注对任何培训项目都是重要的。同时，在对培训进行积极的回顾与评价时，学员能够更好地总结他们所学习的内容。,四、学习评估,学习层评估是目前最常见、也是最常用到的一种评价方式，实际上要回答一个问题：“参加者学到东西了吗？”。也就是说学习评估需要检查学员所学的东西，包括知识，技能，态度 等方面，是测量受训人员对原理、事实、技术和技能的掌握程度。这种检查可能以考卷形式进行,也可能是实际操作；通过笔试、技能操练和工作模拟等来了解受训人员在培训前后，知识以及技能的掌握方面有多大程度的提高。笔试是了解知识掌握程度的最直接的方法，而对一些技术工作，例如工厂里面的车工、钳工等，则可以通过绩效考核来掌握他们技术的提高。强调对学习效果的评价，也有利于增强受训人员的学习动机。这一评估的结果也可体现出讲师的工作是否是有效的。但此时，仍无法确定参加培训的人员是否能将他们学到的知识与技能应用到工作中去。,五、行为评估,行为评估试图衡量学员行为改变或是工作表现的变化，实际上是评估知识，技能，态度的迁移水平。要回答一个问题：“人们在工作中使用了他们所学到的知识，技能和态度了吗？”行为评估的特点主要表现在1、学员行为改变是有一定条件的；2、很难以及何时会产生变化；3、行为的改变往往受到外部的影响。,如果学员在培训之后没有学以致用,那么就说明培训对每个参加的人而言都是一种浪费；行为层的评估往往发生在培训结束后的一段时间，由上级、同事或客户观察受训人员的行为在培训前后是否有差别，他们是否在工作中运用了培训中学到的知识。这个层次的评估可以包括受训人员的主观感觉、下属和同事对其培训前后行为变化的对比，以及受训人员本人的自评。这种评价方法要求人力资源部门建立与职能部门的良好关系，以便不断获得员工的行为信息。培训的目的，就是要改变员工工作中的不正确操作或提高他们的工作效果，因此，如果培训的结果是员工的行为并没有发生太大的变化，这也说明过去的培训是无效的。行为评估的意义从公司的角度说从管理层的角度说从员工的角度说,六、结果评估,这一阶段的评估要考察的不在是受训者的情况，而是从部门和组织的大范围内，了解因培训而带来的组织上的改变效果。既要回答“培训为企业带来了什么影响？”可能是经济上的，也可能是精神上的。如产品质量得到了改变，生产效率得到了提高，客户的投诉减少了等等。这一阶段评估的费用和时间，难度都是最大的。但对企业的意义也是最重要的。结果评估的实施主要的阻力有两个方面：来自于培训师的阻力信息收集的困难,表 Kirkpatrick培训四级评估模型,准确的评估培训的效果是一项很困难的工作。美国人力资源管理专家洛丝特对评估培训结果提供了一些简单而适用的建议，可以给我们一些有益的启示：1、请学习者在培训课程结束时填写评估表。2、培训开始让学习者谈谈他们希望学到什么。培训结束时，让他们回顾自己提出的学习目标，并讨论究竟学到了什么。3、不断提出问题，让学习者阐述他们是如何理解概念的，并如何在工作中运用这些概念。4、每讲完一个新技能或新概念就进行小测验，确保每个学习者都掌握了这部分内容。5、回顾学习结果，让学习者证明自己取得的学习成果。,6、培训结束后，让学习者花5-10分钟时间写一写他们如何运用学习成果以及什么时候用。7、观察员工的工作情况以及对新技能或新知识的使用情况。8、比较培训前后员工的表现。9、让学习者写下培训中哪些内容对他们的工作最有用，哪些内容最没用。10、交给学习者一项工作任务，要求他们使用学到的新知识和新技能。完成任务后，与每位学习者交谈他们的工作，指出他们的不足，并加强学习。,第三节 培训有效性评估的方案设计,一、影响培训有效性评估效度的因素1、培训有效性评估效度的含义2、培训有效性评估的影响因素内部效度：公司历史因素；结果测量的可靠性；学员自身的因素。外部效度：学员样本、学员对培训前的测验的态度。,二、培训有效性评估的方案设计种类,培训有效性评估的设计种类从是否有对照组、是否进行培训前评估和培训后评估两个方面来考虑主要有以下一些方法：1、仅有后测，无对照组的设计。仅在学员参加培训后对其进行测量；很难说学员所学到的东西是培训的效应。2、前测后测的设计。可以进行差异性检验，通过统计分析说明培训的效果；但是没有对照组，分析出来的差异可能不是由培训造成的。,3、后测对照组的设计。在设计中增加了对照组，但是对培训组和对照组都不进行培训前的测量。两组指标上的差异被认为是培训的效果。可以排除培训以外因素的干扰。对于学员以往的水平没有测量，无法判断培训组和对照组是否同质。,4、前测后测对照组的设计,采用对照组和培训组比较；对两组均进行前测和后测。两组指标上的差异被认为是培训的效果。可以排除培训以外因素的干扰。在研究设计中应用较多，不仅用于评估单一培训的效果，也可以用来衡量不同培训方式的效果。,5、所罗门四组设计,这一设计实际上是上述等组前后测设计和等组后测设计的综合，是由所罗门(Solomon，1949)首创，故称为所罗门四组设计(Solomon four group designs)，它将前几种设计结合起来，可以把干扰培训效果的其他因素的影响减少的最低。其设计模式是：,这种设计包含有两个培训组和两个对照组，四组受试者均由随机方法选择而来。其中，有两个组接受前测，两个组则无。实验处理后，四组均接受后测。实验效果的测定，可用相关样本或独立样本的Z检验或t检验(N30用Z检验，N30用t检验)的方法，检验下列四种平均数的差异显著性：第一组前测和后测平均数的差异(O2-O1);第一组和第二组后测平均数的差异(O2O4);第三组、第四组后测平均数的差异(O5O6);第一组、第二组前测平均数和第三组后测平均数的分别差异(O5O1或O5O3)。,如果上述四个差异的检验都获得一致性的效果，研究者将更有信心确定是实验处理产生了效果。因为这等于重复做了四次实验(若以有前测和无前测比较，则等于重复做了二次实验)。有关前测经验的单独效果之检验，可比较第二组和第四组后测平均数的差异(O4O6)。这种设计对影响内在效度的八个因素均可控制，而且，可以控制和测量前测的主要效果，可以控制和测量前测与实验处理间的交互作用效果(通过第一组和第三组的比较)，可以测量“成熟”和“历史”的综合影响效果(根据第四组的后测平均数O6和第一、二组的个别前测平均数O1、O3的比较)。这种设计是最严谨控制的实验设计之一。但是，由于有四个组，需要大量的样本，研究者须付出很大的代价，缺乏实用性。因此，在一般的应用研究中，这种设计的应用并不广泛。,6、时间序列设计,时间序列设计是由库克和坎贝尔在他们著名的准实验设计中提出来的，基本上是借助多次重复测量的一种前测后测设计。这种设计的实质是对某个被试组或被试个体进行周期性的测量，比较被试接受实验处理前后的反应模型，以评估自变量作用的设计。根据被试组的设置情况，可分为简单中断时间序列设计和复合中断时间序列设计。简单中断时间序列设计，是最基本的时间序列设计，基本上是一种单组前测后测设计。与其他种类前测后测设计的主要区别是没有比较组，并且不是仅有一次前测和后测，而是对一个实验组或一个被试进行周期性的一系列前测和后测。,“英国工业疲劳研究组”关于工作日由10小时改为8小时对提高生产效率影响的研究。时间1919年8月一直到1920年8月。得出结论：工作时间从10小时降到8小时，提高了每小时的产量。虽得出以上结论还存在以下问题：可能不管工作时间是否缩短都会出现生产率提高的现象。除了每天工作时间长短的变化外，可能还有其他变量影响到每小时的平均生产量。数据的效度有限。很可能产生“霍桑效应”。,复合中断时间序列设计基本上是简单中断时间序列设计的延伸。它是在研究设计的过程中，增加一个没有接受过实验处理的比较组，以提高中断时间序列设计的功能。增加一个控制组可以为结果的解释提供参考信息。在用时间序列设计对培训有效性进行评估时简单中断时间序列设计就是指没有对照组的状态下采用该方法；复合中断时间序列设计就是指有对照组的状态下采用该方法，也就是多重时间序列设计。时间序列设计比较适合学员人数少，难以进行统一分析的情况；在较长时间内对员工进行考察，容易受到员工个人发展因素影响，所以研究时一般引入对照组；多重时间序列设计用于评价那些比较容易观察到的培训结果指标。,时间序列设计作用体现在可以帮助了解以下信息：水平变化和趋势变化效果的持久性效果显示的滞后性如果采用对照组，可以通过对照组的比较来确定培训的效果。库克和坎贝尔提出了中断时间序列设计的一些缺点许多处理并不是迅速实施的，它们逐渐散播到总体中。因此，处理后的因变量的任何变化可能缓慢得使人观察不到。许多作用并非是即时产生的，而是延滞性的，何时出现也无法预期。时间序列设计的统计分析相当复杂。数据收集较难。,三、培训有效性评估中的基本统计分析,平均数差异检验相关分析方差分析,培训效果评估方案设计种类,第四节 培训有效性评估的经济价值分析,一、投资回报分析（一）主要形式1、成本有效性分析（非货币）2、成本收益分析（财务）：包括投资回报分析（ROI）,（二）成本和收益的确定1、培训成本的估计。资源需要模型由奎因（Quinn）等人在1996年提出，可以认为是培训成本矩阵。,2、收益分析,收益分析的通常做法有：通过以往研究和培训记录，确定培训的收益；在公司范围内进行小样本的测试；通过观察培训后绩效特别突出的员工，来分析培训的收益。培训的投资回报ROI收益培训的成本成本和收益数量化方法举例（科宁玻璃公司）降低的主动离职率的收益过去3年中的平均离职人数17招聘新员工的成本掌握技能时间缩短的收益65平均月工资每年新招员工数,二、效用分析,1、效用分析是指对各种方案的损益进行分析，主要意义在于给管理层在作出决策时提供依据。效用的基本公式：效用单位产出的绩效产出的数量成本2、效用分析在人力资源管理中的应用。泰勒拉塞尔模型内勒和塞恩的研究BCG模型,