考评技术与方法课件.pptx

考评技术与方法,课程内容,引言 考评技术介绍 考评方法介绍 考评方法应用 鉴定实施流程 考评实施要点 评定偏差处理,考评员是在规定的工种、等级和类别范围内对职业技能鉴定对象进行考核和评审的人。,第一部分 引言,考评人员的主要任务 考评人员的职责 考评工作特征,1、考评人员的主要任务,2、考评人员的职责(16),（1）应严格按照规定的考核方式、方法和评分标准,完成评分任务，填写考评记录。,（2）独立判分的权利，有权拒绝任何单位和个人更改鉴定结果的非正当要求。,（3）考评人员应严格执行考评人员工作守则和考场规则负责场地等检查和检验,（4）考评人员在执行考评任务时，实行亲属回避制度。,（5）考评人员对考评现场发生的违纪行为，视情节轻重给予处理，并向上级部门报告。,（6）考评人员权益受到损害时，可向职业技能鉴定指导中心申诉,（7）各级职业技能鉴定指导中心必须维护考评人员的合法权利,（8）职业技能鉴定指导中心采取轮换方式派遣考评员组成成考评小组，并制定考评组长。,（9）考评组成员每次轮换不得少于三分之一，在同一职业鉴定所内不得连续超过3次,（10）考评组长应具备相应的评判水平和组织能力，每次考评工作完成后，向职业技能鉴定指导中心提交考评报告。,考评工作 是职业技能鉴定的重要组成部分，是一项技术性很强的工作。它是按照职业标准，遵循相关程序与要求，凭借考评技术去实现并完成考评的一种活动。考评 则是考评人员独立地依据考评标准和规定的考评技术方法与手段，对鉴定对象技能水平进行客观、公正的评价和评定。我们在此定义和分析考评工作及考评的概念和含义，就是为了了解和认识其本质属性上的特征，从而更好地开展考评工作。,3、考评工作特征,考评工作的特征是由它在整个鉴定工作中的特殊性和自身的技术性所决定的。除其非常重要的客观公正和科学规范的原则外，还有以下四个主要征：,标准性和规范性技术性和复杂性独立性和权威性变化性和创新性,标准性和规范性,职业技能鉴定是一种标准参照型的考试，涉及到上千个职业和广大劳动者切身利益。同时，鉴定场所分散，设备条件于差万别。这些性质和特点就要求考评工作讲程序和守规范，要求每个考评流程都要引标据法，有规有则。而任何一种考试又不可能达到绝对的理想的目标，为此，只有用标准和规范加以约束，考评质量才能得到控制。这就注定了标准化和规范性是它的特色。,考评是一种特殊的评价，它以心理教育测量学和考试学理论为基础，具有一般考试的基本特征、规律和方法手段。同时，职业标准涉及的内容纷纭复杂，技术复杂程度又各不相同。因此，只有根据职业特点，充分认识考评工作的特点和规律，掌握考试理论科学和采用多种考评技术与方法，才能不断提高考评科学性和有效性，适应考评工作的需要。,技术性和复杂性,考评工作虽然是职业技能鉴定工作的一个组成部分，但由于赋予它对鉴定对象进行客观公正考评和考试结果不受任何部门、个人的干预权利，以及考评人员独立行使考评权利和对考评人员采取资格认证的管理制度，使考评工作更加具有独立的特性和权威等特点。,独立性和权威性,职业是随着科学技术和劳动方式的发展及改变而变化发展的。同时，科学技术的发展也带来劳动场所、工具设备的更新变化。这些变化必然引起考评技术与方法的变化，使得考评工作只有不断创新和发展，考评人员不断地学习，探索灵活多样的考评技术与方法，才能满足考评工作的需要。,考评人员除具备必要的资格条件和职业道德素质外，应当重点掌握本职业的考评技术和考评方法，才能客观公正、科学规范地完成考评任务。,变化性和创新性,1、职业标准知识和技能的分类2、考评技术的种类,第二部分 考评技术介绍,1、职业标准知识和技能的分类,职业是人类劳动和科学技术以及管理技术发展变化的产物，任何一种劳动都是以一定的知识为前提的，特别是在科学技术高度发达和知识经济的今天尤其如此。因此，了解职业标准的知识和技能的类型及特点是理解和应用考评技术的前提。以下类型的划分主要是依据职业知识和技能的特征进行划分的。,国 家 职 业 标 准,知识部分,识记型,技能部分,应用型,操作型,心智型,技巧型,我国职业标准分为知识和技能两个部分，从知识部分的特征看，主要有识记和应用两种类型，其构成比较单一；而技能则不同，其技术含量和复杂程度的特征各不相同，从特征去划分大致有操作型、心智型和技巧型三个类型，如下图。,识记型,主要指职业技能所需的知识，即职业标准中的基础知识部分和部分心智技能。认知程度一分为了解、熟悉和掌握等三个等次。,应用型,主要指运用专业知识去认识、分析和解决问题的能力。主要体现在职业标准的知识和部分心智技能及技术技能。此种类型认知程度一般分为了解、掌握和应用等三个等次。,知识部分,指需要通过判断一种技能类型，适用于知识与技能界限比较模糊的职业。如新兴的服务类和信息咨询类的职业(秘书、思维等形成能力类的技能。它是职业技能的另旧机动车鉴定估价师)。这类技能一般分为了解、掌握和应用等三个次。,主要是指借助动作的力度、协调性及敏捷性等能力进行操作的技能，是职业技能中最常见的一种技能类型。第一、二产业中如机械和种植等职业这类技能居多。此种技能一般分模仿、掌握和熟练等三个等次。,指应用知识转化为能力的技能，它适用于技术含量较高的职业。如数控加工中心和计算机等职业。,技巧型,心智型,操作型,技能部分,2、考评技术的种类,考评技术,综合类,操作类,论文类,综合类,它是现代考评的主要形式，内容上广度与深度相结合和以文字图像作答是它的基本特征，适用于规模性和分散个体性的考试。前面提到的识记和应用类知识考试和部分心智技能考试一般采用此形式。它是通过试卷试题对知识认知程度和心智类技能水平进行测评，并由考评人员对作答试卷进行评分。,操作类,它是职业技能鉴定特有的主要的考评形式，是一种直接的非文字的考评，通过现场(全真、半真、模拟)技能操作完成考核项目是它的基本特征。它是通过一个或几个考核项目对上述技能所需的熟练和准确程度进行检测和评定，并由考评人员现场直接评审判分。它适用于操作类和部分心智类、技术类等技能的考评。,论文类,它是采用以深度为主和广度为辅的办法来全面检查鉴定对象现有技术知识、理论素质、学术水平、技能水平和综合分析解决实际问题的能力。笔试(论文)和面试并用是它的基本特点。它适用于识记、应用类知识考试和心智类、技术类技能考核以及高等级的鉴定。如技师以上资格的考评，采用此类别进行考评比较多。如美发职业，具有操作动手技能较强的特点。同时，技师这个等级对理论知识也有面广的要求更有深度的规定，据此，我们采用了综合类的问卷方法、操作类的典型作业方法和论文类的笔试与面试相结合的方法。,第三部分 考评方法介绍,操演法,考评方法,口试法,问卷法,阅卷法,问卷法,问卷法，也称文字(书面、机考均可)直接质问法。这种方法是根据职业标准的内容与要求，通过书面文字或图表(音像)组成的试卷对鉴定对象技能所需知识以及应用能力等进行考评。此方法目前被职业技能鉴定的知识考试和心智类技能考核普遍采用。随着鉴定技术的发展，除在职业技能鉴定中普遍采用了书面考评手段外，近几年，也在少数职业的考评中引入了计算机智能化考评方法。一些知识和心智技能特点较突出的职业考试采用此种方法。如公关员和秘书职业已经做了这方面的尝试，得到大家的认同。,操演法,操演法，也称真实和模拟操作法。这种方法是让鉴定对象按照一定规程，通过一个或几个项目操作或实物制作等形式来完成考试项目。这种方法主要分为现场实际操作、典型作业操作和模拟操作三种方式。现场实际操作法。它以真实的工作环境和条件对劳动者实际技能水平进行考评。这种方法强调与现实工作环境和条件一致，采用了全真工作环境的考评手段，是一种比较原始的考评方法。它对考核场地的环境和条件要求比较高，鉴定成本比较大。目前职业技能考评中采用此方法的比较少。但一些有条件的企业内鉴定可以选用此方法。,典型作业法。它是一种以现场考评为基础形成的考评方式。它以典型作业环境代替真实工作环境，以典型作业考评项目代替实际劳动过程的任务和要求，根据劳动者现场所完成规定项目去测量和评价其技能结构与水平。如抹灰工的操作技能可以若干局部或种类的抹灰项目来进行考试，通过对鉴定对象操作过程行为反应或完成的结果质量评价，实现测评技能水平的目标。这种既与真实工作环境保持一致或相似、便于技能项目考评，又有利于统一、规范的控制考试过程的考评方式，目前应用较为普遍。比较适用于操作技能强和技能项目相对独立的职业技能考核。是当前我国职业技能鉴定考核中采用最普遍最经济的一种方法。,模拟操作法。,它是一种半模拟或全模拟真实工作情景或工作情景下的考评方式，它是通过模拟环境、语言、设备、音像及形体等完成技能考核。它通过多种模拟操作考核替代或弥补上述两种方式不能进行的考评和不科学的考评。虽然目前此方法应用不多，随着科学技术的发展，将会被更广泛地采用。这种方法比较适合心智类、技术类技能和因生产周期长或受高精尖设备、大型设备限制的职业的技能考评。,口试法,口试法，是一种考、评双方直接对话式的测试方法。它以论文、抽签题目和音像片等为测试中介题目对鉴定对象测试结果进行评价。此种方法是对劳动者深度性的知识和高超(独创)技能的测试，但人为因素对鉴定结果影响较大，鉴定成本高和规模小。此种方式一般在技师以上高等级资格考评中采用，适合对应用类知识和心智型技能的考评。,阅卷法,阅卷法，是一种间接测试方式。它以论文为中介对鉴定对象的能力进行分析、评价。此种方法是对劳动者深度性的知识和高超(独创)技能的测试，一般也在技师以上高等级资格考评中采用，适合对应用类知识和心智型技能的考评。,职业技能类型、考评技术、方法手段对应构成图,第四部分 考评方法应用,1、理论知识考试考评方法应用2、操作技能考试考评方法应用,1、理论知识考试考评方法应用,理论考试考评内容理论考试考评方法应用,(1)理论知识考评内容,1）出题依据及过程 依据相应工种的国家职业标准，根据职业技能鉴定要目细素表成立相应工种的命题小组（命题小组成员一般由精通本专业的高级工程师、具有熟练操作技能的高级技师和丰富教学经验的高级讲师组成）建立题库，考试中从题库中抽取试题。2）考核内容 考核内容包括：理论知识，题型为判断题、选择题、填空题（有争议，出题时要注意答案的唯一性）、问答题、计算题及综合题，题量一般为四页考卷，时间为120分钟，考试时一般根据需要允许带计算器。,(2)理论考试考评方法应用,砌筑工,装饰镶贴工,抹灰工,考核内容,为更好地了解考核内容和考评方法，以下针对各个职业的理论考评内容进行分析。,砌筑工,部分典型题目分析,题型来源：砌筑工国家职业标准砌筑工理论试卷,针对不同职业等级，参考砌筑工国家职业标准内的要求，对各个知识点进行考察，考评考生的理论知识基础。,专业知识(砌筑),基础知识（识图）,装饰镶贴工,部分典型题目分析,参考装饰镶贴工国家职业标准内的要求，针对某个职业等级，对各个知识点进行考察，对考生的理论知识进行考察。,专业知识,基本要求（职业道德）,相关知识,题型来源：装饰镶贴工国家职业标准装饰镶贴工理论试卷,抹灰工,部分典型题目分析,基础知识（识图）,理论考试采用的考评方法一般为问卷法，通过选择、判断、填空等方式考核抹灰工高级技能培训标准内的特定要求内容，对考生的基础知识、专业知识和相关知识等进行考察。,专业知识,题型来源：抹灰工国家职业标准抹灰工理论试卷,2、操作技能考试考评方法应用,操作考核方式和评分方法操作考试考评方法应用,(1)操作考核方式和评分方法,主要由以下两个考核方式：A 每个技能考核模块均合格方为合格，此法对参考者综合素质要求较高，适合于具有完备条件的社会化考核，参考者可逐个模块考核；B 技能考核五个模块以不同比例配分，总分及格即为合格，此法综合考虑了当前我省的实际条件和工人队伍的现状，适于集中考核，技能考核一般在两天内完成。,考核方式,评分标准包括评定工作行为的若干指标，评分量纲，最小记分单位及其意义等规定。一般，最小记分单位为1分，考评员根据评分标准对考生的表现作判断，并以记分的方式作为评定结果。在考评中，根据各评定指标，判断考生工作的质量，将评分分配到各评定指标上。可以说，每名考评员对考生的评定结果是技能考核指标得分的总和。评分方法指考评员根据评分标准观察和判断考生的表现并对考生记分的技术。通常有两种记分技术。一种为减分法，另一种为加分法。,评分方法,减分法 最常用记分技术，其具体做法是：首先，根据评分标准设想出最完美的表现应得满分。然后认真观察考生的表现。当考生出现失误时，或工作质量不理想时，便在相应的指标下一个记分单位、一个记分单位地减分。对选手成绩的最后判断就是剩余的记分。优点：考评员记分的心理负荷较低，因而可以专心致志于对考生的表现进行观察和判断；缺点：如果观察不够认真或经验不足，容易产生较多考生得满分的结果。,加分法 与减分法的做法相反：首先，根据评分标准和考生的水平确定一个最低可能的表现及相应的记分，如60分。以这种表现及记分作为判断的基准点。然后认真观察选手的表现。凡是考生的表现优于基准表现时，便根据考生优于基准表现的程度加记相应的记分单位。如果考生出现严重失误而低于基准表现时，则要根据其劣于基准表现的程度减分。优点：可以拉开考生得分的差距，较少出现满分现象。缺点：加分法可能既要做加分，又要做减分，因而考评员的心理负荷较高。,(2)操作考试考评方法应用,砌筑工,装饰镶贴工,抹灰工,考核内容,为更好地了解考核内容和考评方法，以下针对各个职业的操作考评试卷进行分析。,砌筑工,针对不同职业等级，参考砌筑工国家标准内的要求，对考生的操作能力进行考察。,识图能力,考题1：,题型来源：砌筑工国家职业标准砌筑工理论试卷,砌筑基础,砌筑操作和工具使用,操作考试采用的考评方法一般为操演法中的典型作业法，根据抹灰工国家职业标准内的要求，对考生的作业能力等进行考察。常以典型作业的环境代替真实的工作环境，以典型作业考评项目代替实际劳动过程的任务和要求，根据劳动者现场所完成规定项目去测量和评价其技能结构与水平。,抹灰工,识图能力,考题2：,题型来源：抹灰工国家职业标准抹灰工理论试卷,抹灰操作项目及评分标准,施工操作能力,装饰镶贴工,参考装饰镶贴工国家职业标准内的要求，针对某个职业等级，对规定的操作要点进行考察。,操作准备,题型来源：装饰镶贴工国家职业标准装饰镶贴工理论试卷,操作能力,作业水平,实施职业技能鉴定考试活动全过程，可粗略分为：鉴定组织、鉴定准备、鉴定施测和鉴定结果处理四个工作阶段。这里我们重点讲鉴定施测环节。,行政管理,业务管理,具体执行,鉴定规划、鉴定公告、监督、制卷、成绩认定、核发证书等,组织报名,审查登记,考场准备,考试施测,评定,成绩登记,第五部分 鉴定实施流程,1、鉴定组织的内容与要求,组织鉴定考试活动的各种因素以所制定的鉴定实施方案妥善地安排各项工作内容约束鉴定活动的主体及鉴定对象，按规定的形式和要求参加职业技能鉴定活动,（1）制定实施方案 职业技能鉴定的实施方案是确定着某次职业技能鉴定的工作方式、工作内容和要求以及整个工作安排的工作方案。方案包含内容：鉴定的范围（工种名称、定义）；鉴定标准和方法（所依据的考试标准和采用的考试法）；鉴定的工作日程安排（考试的日期和时间安排）；工作事项说明（重要事项的说明、考点、考场设置和分布、耗材）,（2）发布鉴定公告 公告包含内容：工种名称、定义和适用范围；各工种的考试标准、方法或指定的鉴定资料；报名条件和手续、时间期限、收费项目和标准；考试的科目、时间和地点或以准考证的方式确定；另外，如不能在报名当时填发准考证时，还应告知准考证的发放时间和办法。,（3）审查申报条件和资格 查看职业技能鉴定申报表 常规信息：如姓名、身份证号、年龄、照片是否符合要求等 条件信息：如从事工作年限、申报鉴定工种（必须是工种目录表上有的）特殊信息：职业活动和职业培训方面的经历（查看证书）（4）报名登记和分类统计,2、鉴定准备的内容与要求,合理安排实施鉴定人员、场地和设备，提供相应技术手段和保障条件是保证职业技能鉴定考试活动顺利进行的必要步骤。（1）试卷准备与交接。职业技能鉴定试卷交接包括专业技术知识考试试卷及评分标准、操作技能考试技术准备通知单和操作技能考试试卷及评分标准、其它有关的说明材料。注意记录。（2）考场准备与验收。专业技术知识考试采取按工种和级别相对集中的方法安排试场；操作技能考试的考场依情况不同确定；准备好考务、考评人员胸卡,3、鉴定实施的内容与要求,鉴定施测由职业技能鉴定考评员和鉴定对象按统一的考场规则和考试方法共同完成测试，并产生测试结果。测试过程以测前准备、测试及测后清理为控制环节并按顺序进行。（1）专业技术知识的测试与评分（2）操作技能测试与评分的特殊要求,（1）专业技术知识的测试与评分,测试准备要求 领取试卷，核对试卷与所负责的监考任务是否吻合。进入试场时，要对试场的准备情况进行大致的检查，看试场准备工作是否符合规定的要求。考评员还要备齐试卷装订和密封所用的工具和材料。考试开考前15分钟后，考评员应及时组织鉴定对象入场，并检查准考证以免考生错场。鉴定对象入场完毕后，考评员当众宣布考场规则、重申考场纪律和注意事项，指导鉴定对象准备测试。,测试要求 从考试开始计时直到考试结束铃响，考试员和鉴定对象的行为都称为测试。测试期间考评员的工作主要是考场巡视。考评员巡视考场的行为不应干扰鉴定对象的考试过程。考评员对所负责监考的考场情况，应按要求记载。,测后清理要求 考试规则规定所有的鉴定对象应在同一时间内完成考试，考试结束时，考试员应责令所有鉴定对象立即停止考试，并退场。试卷回收、装订密封以及试卷袋密封。缺考试卷一般在开考后30分钟回收。并将缺考者的考号填写在试卷和考场情况记载表上，按序号装订成册。试卷装袋之前要核对试卷数量，确认与原发出的数量（包括备份卷和缺考卷）一致后，贴专用封条，交考场办公室。评卷、合分、统计、签字。,（2）操作技能测试与评分的特殊要求,操作技能的测试与评分需采用多种手段和方法。测前准备，检查考场的考试条件和安全。测试过程中，考评员不仅要执行监考任务，还必须及时劝阻或制止各种违反操作规程的测试行为。测试完成后，作好测试样本的回收、分类、标号和封存工作。,考评员对评分标准有正确认识并一致，对所用测评用具的精确程度及使用方法也应统一。行为反应为测试内容时，通常只能以“考评合一”的方式进行；操作过程的行为结果主测试内容时，则可以采用“考评分开”的方式。两种不同方式施测时，样本的存在形式和保存方法不同，在检测评分时的组织方法、样本编号方法、时间安排顺序上都有较大的差异。,4、鉴定结果处理的内容与要求,考试成绩必须经过统计分析和成绩认定后，才能真正成为核发职业资格证书的有效依据。（1）统计分析：评价考试的质量（2）成绩认定：试题有效性认定和考试质量分析处理（3）核发证书：据成绩认定结果、遵证书核发权限。,1、考评前的准备工作2、考评中的判定、提示和干预3、现场评分4、考评后技术资料汇总,第六部分 考评实施要点,1、考评前的准备工作,召集全体考评员会议。成立考评小级，推选考评组长，拆封试卷袋，进行考题研究，制定考评实施方案（考生分组、考试流程、考评员任务安排等）；熟悉考试设备的性能及操作要领；检查考试用仪器、仪表；检查考场安全情况；检查考场材料准备情况；全体考生会议，说明考场的纪律和考试流程；考生工位抽签。,2、考评中的判断、提示和干预,判断：从读图识图的过程预测考生能力 从系统安装过程判断考生的接线工艺 从系统操作判断考生对系统的熟悉情况；从仪表的使用方法判断考生使用仪表能力 从系统程序判断考生的编程能力,提示和干预：操作明显不合理即将引起危险情况而考生又无查觉时应及时干预记录开始考试和结束考试的时间记录考生实际操作的规范性。包括：着装、元器件 的摆放等记录考生完成操作的情况记录考试中考生的错误发生情况。记录其他原因造成的延误考试的情况,3、现场评分 4、考评后技术资料汇总,职业技能鉴定考评工作主要靠考评人员对考生行为及其结果的判断，任何人的判断都可能发生错误，考评员也不例外。评定偏差：绩效评定中凡是非故意歪曲的判断结果与事实的偏离，必须控制偏差因素，将偏差的影响控制到最小，获得高质量的考评结果。,第七部分 评定偏差处理,偏差产生的原因 评定偏差的类型,1、偏差产生原因,人的认识能力的局限。借助仪器弥补自己感觉能力的不足，但对仪器测量结果仍要根据自己的差别感受作出判断。人的经验和知识的局限。疲劳、厌倦、紧张、不认真等都可能增大评定偏差。,2、评定偏差的类型,分布偏差：评定的分布偏差偏离正态分布。宽厚偏差：评定结果偏于高水平段。评定者掌握评定标准过于宽松。苛严偏差：评定结果偏于低水平段。评定者掌握评定标准过于苛刻。集中趋势：评定成绩过于集中某一水平段。评定者观察被评定者的行为表现不够，或对评定标准的区分程度掌握不够，或不希望得罪任何人所致。,顺序效应：先前的评定对后继评定的影响。评定者往往倾向于以前一个被评定者或评定指标的评定结果作为后一个的直接参照。心理学研究表明任何相邻的被评定者的评定结果显著高于不相邻的被评定者。控制措施：每个考评员每次只就一个评定指标评定所有考生；各考评员的评定指标随机排序等抵销顺序效应的影响。,自我中心效应：评定者暗自以自己认可的评定标准取代规定标准。当评定标准较粗陋，评定者对此争议较大，或对评定标准的说明不够明确，评定者对评定标准有各自的理解时，这种偏差最容易发生。控制措施：加强考评员培训，树立正确的考评考评工作态度，掌握正确的考评标准，正确理解评定指标意图。,光晕效应（晕轮效应）：评定者对被评定者某一方面的强烈印象影响其对被评定者其他方面的判断。“先入为主、以偏概全”评定者容易被被评定者某一方面的表现所蒙蔽，而对其它的特性认识不清甚至根本无法发现，在考核中，如果存在晕轮效应，考核者只能被考核者的优（缺）点发生兴趣而无视其缺（优）点。相似效应：评定者对于被评定者所表现出的与自己相似的经历、思想和行为，往往有更多的兴趣，对这样的考生易产生好感，进而影响评分。,掌握：1、考评技术与考评方法的种类 2、考评方法的应用,熟悉：1、鉴定实施流程 2、考评实施要点,了解：评定偏差的产生及处理,第八部分 考评实施指导,考评认证学员通过学习职业标准与考评技术与方法后，通过考评实践进一步把握职业标准的要求，掌握考评方法的运用，熟悉考评工作流程,实习内容要求 考评实习步骤 考评实习结论,对应学员认证的技能工整，给每考生发一套完整的技能操作试卷，在实习老师指导下去实习车间进行模拟考评。试卷内容：材料准备单、试题、评分表,1、考评实习要求,2、考评实习步骤,考前例会（分析考核项目、内容、方法、要求并分工）检查考场实施鉴定阅卷评分考后总结,3、考评实习结论,在实习过程中，指导老师需关注每个学员评分表上评分是否合理及在学员在考评操作中是否严谨与认真。实习结束，实习指导老师指导学员填写实习报告。,实习报告详见：实习报告样式.doc 实习报告样填写说明.doc,