教育测验编制的一般步骤与.ppt

第四章 教育测验编制的一般步骤与方法,第一节 教育测验的编制,一、教育测验编制的基本程序（一）确定测验的目的和目标 首先，要确定以下几个问题：1教育测验所要测量的是哪一种属性？是智力还是学科成绩？2测验的对象是儿童还是成人？是幼儿、小学生、中学生还是大学生？3测验的内容和范围，是语文还是数学？4测验的性质与用途，是选拔录取测验还是成绩测验？是目标参照测验还是常模参照测验？是速度测验还是难度测验都要一一加以明确。,其次，了解教育目标的分类：纵向分类：1终极教育目标：用来指导教育政策、设计教育方案；2中程教育目标：对终极教育目标的细化；3具体教育目标：对具体教育目标的细化。,横向分类：美国心理学家、教育学家布鲁姆（Bloom,K.S）1956年提出的“教育目标分类法”。他把教育目标分成了认知目标、情感目标和运动技能目标，每项目标又分成不同的层次，排列成由低到高的阶梯。1认知领域：知识、理解、运用、分析、综合、评价 2情感领域：接受、反应、赋予价值、组织、形成品格 3动作技能领域：知觉、模仿、操作、准确、连贯和习惯化,我国测验目标的分类较多的采用布卢姆的教育目标分类法，在吸收其合理部分的基础上创造了认知领域目标五分法和四分法。,加涅的教育目标分类法 加涅将教育目标分为认知领域、态度领域和技能领域，其中，他将认知领域的目标又分为三类：1言语/视觉信息：以言语或视觉形式存储在记忆中的事实性知识；2智力技能：指用符号操纵环境的能力。由分辨、概念学习和规则学习三种能力组成；3认知策略：指统设学习者观察、思考和解决问题能力的内在控制过程。,（二）确定教育测验的内容 教育内容和测验内容不是同一关系，测验内容只是教育内容一个很小的抽样。编制“命题双向细目表”,由上图可见，命题双向细目表由个要素组成：测验目标、测验内容以及二者的比例，即权重。权重代表了这部分内容的相对重要性。,在真实的命题中，一般遵循如下顺序：例：天气单元的教学目标1列出教学目标清单 了解基本术语：写出每一个术语的定义、识别代表每种天气的术语、确定最适合描述给定天气的术语 了解天气符：将每一种符号与它所代表的天气相对应、画出每种天气的符号 了解具体事实 理解天气形成的影响因素 解释气象图 测量相关的天气特性,2列出教学内容要点 气压：测量和报告气压；影响气压的因素；气压与天气改变的关系 气温：测量并报告气温；影响气温的因素；气温与天气形成的关系 湿度和降水量：测量并报告湿度；影响湿度的因素；降水的形式；测量并报告降水量 风：测量风速和风向；影响风速和风向的因素；说出代表风速和风向的符号 云 锋面,3填写双向细目表（排列各部分所占的比例）准备一个含有教学目标与教学内容两个维度的双向细目表，并具体说明测验题目和评价任务样本的特点 横向设计：各个知识在整个测验的知识范围内的相对地位和重要程度（确定各部分知识所占的比重）纵向设计：了解各组知识在不同学习水平中的具体要求，从而决定相应的比例 汇总与调整,收集相应的测验内容应遵循的原则：测验材料要适合测验目的 测验材料要能够代表该科教材的全部内容（测验材料要有合理的覆盖面，突出基本内容及重点内容，比例参照命题双向细目表）测验材料要有普遍性（要依据统一的教学大纲）测验材料要适合学生的程度，并能鉴别学生的学习水平（难度、区分度适中）测验材料要能激发学生的进取心（要有合理的难度分布）,（三）测验设计 测验形式的确定 纸笔测验、操作测验、口头测验 测验题目形式的确定 客观性题目、主观性题目 测验具体题型的确定与题目编制 客观题包括选择题、是非题、匹配题、填空题、简答题；主观题包括论述题、操作题 测题数量的确定 原则：1规定的测验时间 2测验所用题型（客观题省时，主观题费时）,3阅读、计算、书写量 4测验内容的覆盖面：总结性测验和大规模统一考试的题量应多一些 5测验的性质：常模参照测验应保证规定时间内75%学生做完；目标参照测验应保证规定时间内90%以上的学生做完。测验时间的确定 速度测验要有严格的时间限制；难度测验应以充分发挥考生能力而不致疲劳为原则。具体时间可由专家或有经验的教师估计，或抽取部分考生进行预测验（高度保密性：提前、分散）测验题目的编排 总原则：先按试题的形式及内容分类，再参照试题难度，由易到难排列。,（四）测验的技术分析与鉴定 信度、效度、难度和区分度的计算。例2：以84年上海高校二年级基础英语摸底测验中的四个例题为例，样本总数为178人。,测验的标准化一、标准化测验 学业成就测验分为教师自编测验和标准化测验两类，二者的区别为：1标准化测验采用标准化程序来编制考题，有通用性和可比性，而前者就个别班级命题，在班际和校际之间缺乏通用性和可比性；2标准化测验对准确性和可靠性的要求较高，然而教师自编测验限于条件达到这样的标准比较困难，可低于的信度要求。,二、测验的标准化 测验的标准化是指测验的编制、实施、记分以及分数解释这一全过程程序的一致性。实现过程：1对测题进行难度、区分度分析，作为筛选题目的标准；2确定统一的指导语和时限；指导语分为给主试的指导语（说明、要求、记分法、时限）、给被试的指导语；3测验评分客观公正；4测验分数解释的标准化（常模）；,5说明书 目的、功能 选题的依据 实施程序、时限和注意事项 测验的评分标准 分数解释的依据 信度、效度资料,第二节 测验题目编制技术,一、客观性测验题目的编制（一）客观题的优、缺点 客观题因其评分客观而得名。优点：1适于测量知识、理解、应用、分析几个层次的认知目标；不适和测量综合、评价两级认知目标。2答案明确、回答简便，在一个测验中的数量较多，可保证对知识内容的覆盖率。3有明确的标准答案，评分准确、简单、可靠，利用计算机阅卷可节省人力、物力、财力。,缺点：1不易编制，且花费时间较多。2易受考生阅读能力的影响。3难以排除考生对试题的随机猜测。（二）客观题命题的一般原则 1试题能反映教学内容的重点或知识点。2题目之间的相关性越低越好。3试题的文字力求浅显易懂、题意明确。4答案应该是明确、唯一的。5试题应按教育目标的要求，内容不能超过超过受测团体的知识和能力。,（三）不同类型选择题的命题原则选择题的编制 要求被试从测验所提供的选项中选出正确答案的测题成为选择题。选择题在结构上包括两部分：题干和选项。目前主要的选择题型有：比较、因果、类推、多项、多选、多项多选、最佳、最差等 编制题目需遵循的原则：1每个题干仅问一个明确的问题。例3：三角几何共八角，三角三角，几何几何？2角 3角 4角 5角,2题干要尽量简洁，避免赘述。例4：一个等边三角形，三角相等，均为60度；三边相等，均为2厘米，周长6厘米，请问其面积为多少？2 根号下3 6 1+根号下3 3题干中尽可能用正面的方式来叙述。例4：下面式中哪个不等于3/5？6/10 15/25 6/16 27/45 4在考察理解和应用能力时，最好用新材料。例5：下列哪种物质在体内新陈代谢时产生的热量大？1克脂肪 1克糖 1克淀粉 1克蛋白质,5必须有一个唯一的正确答案或最好答案。例6：两同心圆的面积之比是1：3，若小圆的半径为r，则两圆半径之差的近似值是多少？0.7r 0.73r 0.75 0.73r 0.75r 6正确答案在形式、内容和性质上不可特别突出，避免给考生带来暗示。例7：This is book.my mine yours hers 7诱惑项与题干之间应有一定的相似性。例8：英国的首都是：北京 伦敦 美国 墨西哥,8选项之间应该避免意义相同或重叠。例9：23=？大于4 小于10 6 8 9应尽量避免“以上皆是”或“以上皆非”的选项。只要举一个反例就能推翻这一选项。10正确答案应以随机方式安排在各个选项里，不要有明显的位置趋势，以避免猜测因素的影响。以上原则均针对单选题，若编制多选题时，除遵循以上原则外，还应注意：1不要指名正确选项的个数；2正确选项数一般不要多于错误选项数。,是非题的编制 是非题又叫做二项选择题，它通常给被试一个句子要被试作出正、误的判断。这类题目适合考察对基本概念、性质、原理、定则等的认知和判断。编制题目需遵循的原则：1每一题只能包含一个核心概念。例10：北京是我国最大的政治、文化和经济中心。2试题应是非界限分明，避免模棱两可的语句。例11：我国南方的天气很热。3避免使用具有暗示性的字词和特殊点限定性词句，如全都、绝不、都、可能、大概等。例12：所有作家都会写诗。,4题目陈述应简单明了，避免使用复杂的句式结构，以减少因被试阅读能力而对测验产生不利影响。应尽量采用正面叙述，避免用否定，特别是双重否定句。例13：中国人几乎不可能没有一个人不曾走过曲折的人生道路。5应避免直接抄课本，而应重新组织语句。6正确答案为“是”与“非”的题目数量大致相等，且应以随机方式排列，避免被试猜测。,匹配题的编制 匹配题是选择题的变式，由多个题干和多个选项构成，二者之间可以是完全匹配，也可以是不完全匹配。编制题目需遵循的原则：1各题干或选项必须同质或接近，否则会增加或降低题目难度。例14：美国首都 50亿 中国抗日战争持续时间 华盛顿 世界人口 8年,2各题干与选项应尽量简短，并把更短的一列作为选项。3一般情况下选项的数目应多于题干数，否则会增加被试作答时的猜中机会。4配对的项目不可过多，以不超过10个为原则。5作答方式必须明确规定和说明，比如匹配依据，同一选项是否可以多次被选中。填空题的编制 填空题通常用来考察学生对知识的记忆和理解能力。,编制题目需遵循的原则：1填空的应是关键词句，并且和上下文有联系。例15：1992年我国有 新发明。2一句话内空白不要太多。例16：测量就是对 的属性，进行 的测定。3措辞要明确，应填答案要唯一，便于评分。例17：如果，中国便将腾飞。4空白的地方最好放在句尾而非句首。写了传世之作红楼梦。5为了避免暗示性影响，空白长度要一致。,简答题的编制 编制题目需遵循的原则：1问题范围的叙述要确定，使被试能用简单明确的话来回答。例18：写出中国三大人口众多的城市名字。2问题的答案应该只有一个，且简短、具体 3应注意知识的运用，避免出只考机械记忆的题目。例19：请给出千瓦的定义。4在考察某公式的应用时，不应给泰复杂的数字，以免不必要的计算的麻烦。,二、主观性测验题目的编制（一）主观题的优、缺点 主观题包括作文题、论述题、自由反应题。作文题和论述题合称为论文式试题。优点：1适于测量综合、评价两级认知目标；2易于编制，比较省时、省力。3论文式试题鼓励考生表达自己的观点。缺点：1没有明确答案，评分困难，且不可靠。2不易回答，耗费时间长、精力大，数量不能太多，对知识的覆盖率小。3考生可以摸棱两可的叙述掩盖知识缺陷，且受考生写作能力的影响。,（二）主观题命题的一般原则 1试题应考察教育内容中的重要问题。2要把问题与实际情景相结合，强调知识的应用。3要给被试发挥自己创造力的余地。4要使答案的复杂程度与被试的成熟程度相符合。（三）不同类型主观题的命题原则论述题的编制 论述题可以很好的测量被试的组织、归纳和综合所学知识的能力，运用掌握的知识解决问题的能力以及探讨问题和创新的能力。,编制题目需遵循的原则：1试题要尽量与所要测量的较高层次的教育目标有关。例20：请比较心理学两大理论学派行为主义和认知心理学派之间的异同。2明确的陈述问题，使被试清晰了解作答任务与要求。例21：教育经费应由政府来担负，你同意吗？3论述题的答案应有若干较佳的定论，一般可以限制被试所用的观点。如：“请以观点来分析”。4一般不应允许被试择题而答。因为不同的论述题之间很难做到等值。,操作题的编制 在实验课、地图课、音乐及美术等课程中，操作的方法和过程是重要的测量目标，需要采用操作测验。操作测验介于纸笔测验和未来真实情境的实际活动之间，具有真实的情境模拟性。按测验情境的真实性程度可分为：1纸笔操作测验：如实验设计 2辨认测验：如辨认故障 3模拟操作测验：如物理、化学测验 4工作样本操作测验：如实习,编制题目需遵循的原则：1明确所要测量的目标，并将其操作化，即对整个操作进行工作分析，为每一操作建立一个评分标准。2选择合适的真实性程度，依据教学目标的要求，客观条件的限制等。3指导语简单明确，使被试知道要干什么和在什么条件下去做以及评价的标准是什么。4确定计分的方法：作品量表法：将不同质量作品作为参照标准；检核表和评定量表：对每一步骤进行分别计分。,第三节 常模与分数的解释,一、常模与标准概念：常模是指某年级、某年龄或具有某种共同特征的被试团体，在某一测验上实际达到的平均水平（中位数、平均数）。常模是一个相对的数量，不是绝对不变的，它随着时间、空间的不同而变化。常模是进行比较的标准。,二、原始分数与导出分数原始分数是根据测验的记分标准，对被试的测验结果所计算出的测验分数（粗分）。原始分数本身的意义很小，为了使原始分数本身具有意义，可以进行比较，必须将原始分数以常模为参照点转换成导出分数。导出分数就是经过统计整理过的，具有一定的参照点和单位的，可以相互比较的分数。教育测验中常用的导出分数：1百分等级 2标准分数 3年级等值分数 4年龄等值分数,1百分等级,百分等级针对顺序量表，它以中位数（常模）为参照点，以百分等级为单位，每个百分等级表示其相应的测验分数在该年级或该年龄组被试中所占有的位置，即低于这个分数的人数的百分比，通常用PR表示，百分等级越高，越优秀。与百分等级相对应的原始分数称为该百分等级的百分位数。百分等级的计算方法：（1）未分组分数资料（2）用频次表计算,首先，将被试团体的全体原始分数从大到小排序，然后采用下列公式计算：,在上述公式中，PR为百分等级 R为排名顺序的序号 N为被试总人数,例22：某被试在一次由50人参加的测验中，得80分，排名第9，则该生成绩（80分）的百分等级是多少？解：PR=100(100R-50)/N=100(1009-50)/50=83 其百分等级为83，即是说比80分低的原始分数占全体得分的83%，比其高的只占17%。,首先，编制频数分布表：第一步：求全距第二步：决定组数和组距 一般在1020之间。第三步：决定组限第四步：列出各组组中值第五步：登记各组频数第六步：计算各组至上限的累积频数,对数据进行了如上整理后，可采用如下公式计算百分等级分数。,上面公式中：X为原始分数 L为X所在组下限 f为X所在组的频数，Fb为X所在组以下各组频数之和 i为组距 N为被试总人数,对百分等级常模的评价 优点：(1)是一种相对位置量数，具有可比性，且易于计算、解释方便；(2)不受原始分数分布状态的影响，即使分数分布不是正态的，也不会改变百分等级常模的解释能力；缺点：(3)顺序量表，单位不相等；(4)百分等级分数是相对于特定的被试团体而言的，所以解释时不能离开特定的被试团体。,2标准分数,标准分数包括线性标准分数和正态化标准分数（总体分布不是正态分布，需要一个标准化的过程）。线性标准分数针对定距变量，是以平均数为参照点，以标准差为单位。线形标准分数的几种形式：（1）Z分数（0，1）（2）CEEB分数=100Z+500（500，100）（3）T分数=10Z+50（50，10）（4）线形九段分数=2Z+5（5，2）（5）ITED分数=5Z+15（15，5）,例24：甲乙丙丁四人在某次语文考试中的得分为：72、60、48、90分，全班的平均成绩为60分，标准差为12分。求四人的标准分数？解：甲为1，乙为0，丙为-1，丁为2.5例24：某校高二学生期末语文、数学、英语成绩的平均数是80、70、85分，标准差分别是10、15、12分。某学生的三科成绩分别是85、82、90分，问该生三科成绩哪一科最好？解：语文为0.5，数学为0.8，英语为0.42,各种导出分数与正态分布对应图,正态化的标准分数 当原始分数不是正态分布时，可以进行面积转化而使其成为正态分布，由此而得的分数即为正态化的标准分。这种分数转换的前提是所测特质的分数分布事实上是呈正态分布的，只是由于测验本身的缺陷或取样误差而使其稍有偏异。标准分数的正态化过程如下：首先，将原始分数转换成百分等级分数 然后，从正态曲线面积表中求相对于该百分比的Z分数。,3年级等值分数,年级等值分数就是测验原始分数与年级的等值对照表。一般用图解法来获得。,4年龄等值分数,年龄等值分数是测验原始分数与年龄的等值对照表。包括心理年龄量表和教育年龄量表。一般用图解法来获得。,二、标准分数在我国高考中的试点应用（一）标准分与我国高考 我国在高考中引入标准化考试始于1985年。改革的第一阶段（19851992）主要是引入“标准化考试”的概念，实现分卷考试，引入计算机等先进技术设备，实现考试手段现代化。标准化考试要对考试的全过程进行质量控制，使各种误差尽可能减少，从而保证考生的水平得到准确而可靠的反映。这一过程包括：命题标准化、考务管理标准化、评阅试卷标准化、分数的解释和使用的标准化。,改革的第二阶段（1993）1989年，国家教委正式提出，将标准分数制度的建立作为标准化考试改革第二阶段的主要任务，并提出在1992年以后抓紧完成。在此之后，研究和试点工作不断进行。到1997年，正式在高考录取中使用标准分数的省扩大到广东、海南、陕西、广西、山东、福建等7省，模拟使用标准分数的有22省。尽管国家教委试图推广标准分数制度，但是由于种种原因，在当前的高考中，仍然存在两种分数制度。,（二）在高考中使用原始分数的局限性 1原始分数未能反映考试分数相对于团体的位置信息。2不同科目或同一科目不同次考试之间分数可比性差。3各科标准差不一样也影响了对科目权重的设计。要克服这些缺点，较好的办法就是在高考中建立标准分数制度，把原始分数转换为标准分，使各科标准差之间以及平均数之间恒定且各科分值意义相同，这样才能各科成绩的总分趋于科学、合理。,（三）高考标准分数制度的内容 高考标准分数制度由常模量表分数（包括全国常模和省常模）、等值量表分数组成。常模量表分数反映一次考试考生成绩在考生总体中的位置，分数值与这一位置有关。由于高考是全国统一考试，分省进行录取，所以标准分数转换有两种情况：全国常模分数和省常模分数。但由于每年的考卷不一样，故还不能以此进行逐年的比较。为了弥补这种不足，就需要等值量表分数来完善。当然，等值量表分数有待于全国常模量表分数建立后，才能正式建立起来。,（四）高考标准分数的转换方法 高考所采用的方法是正态化转换。包括单科标准分数转换和高考综合分的转换。1单科标准分数的转换方法 具体转换步骤是：第一步：将同类考生的学科原始分数从大到小进行排序第二步：计算每一个分数Xi对应的百分等级Pi第三步：由每个原始分数所对应的百分等级，利用正态分布表，经过简单计算，即可确定所对应的正态分数Zi，从而得到每一个原始分数所对应的正态化标准分第四步：线性转换，我们确定的量表平均分为500，标准差为100，那么线性变换公式为：T=500+100Z,2高考综合分的转换方法 反映考生高考总成绩的指标是综合分，它是综合了各个学科标准分之后形成的高考总体成绩，作为录取的主要指标。综合分的转换方法不是各个单科标准分的平均值，而是以各科标准分的简单和或加权和为新起点，仿照上述单科标准分的转换方法，再转换一次，得到综合标准分，简称综合分。综合分转换成常模量表分数的方法和单科分数转换成常模量表分数的方法相同，最终的T分数转换公式也一样。考生各科分数和综合分数的取值范围均为100900，这样转换的目的就是使各科分数和综合分具有相同的常模量表，便于高考分数的解释和使用。,三、目标参照测验的分数转换（一）掌握分数 有时测验只是为了考察学生是否已经达到本测验的最低要求从而可以进入下一阶段的学习。此时最简便的方法就是制定出一个判别被试是否通过或掌握的最低分数。达到这一分数即为“通过”，否则即为“失败”。该分数一般是据主试的经验判断而人为确定的，通常以可以做出80%90%的反应所对应的分数为最低标准。程序教学中经常采用掌握分数。,使用正确百分数时，需要考虑以下几点：1既可以针对整个测验确定一个正确百分数，也可以根据测验的内容层次（测题组），分别计算不同内容层次的正确百分数。2在许多情形下，测验中不同内容的题型是不一样的，用上述公式就不太客观，因此，可以利用学生测验的原始分数和测验总分之间的关系，计算学生个人的得分百分数，即：,（二）正确百分数 学生在目标参照测验中，答对题目的比例。,（三）标准分数法 若考生成绩分布为正态或近似正态，可利用标准分数来制定达标分数及等级评定的分数线。标准分数的分布范围一般是3到+3，即全距为6；若对被试做五级评定，则将横轴平分为5级：,优点：不受试题难度影响。,四、测验分数的解释（一）解释测验分数的原则 1主试应充分了解测验的性质与功能 2对导致测验结果的原因的解释应慎重，谨防片面极端 3必须充分估计测验的常模和效度的局限性 4解释分数应参考其他有关资料 5对测验分数应以“一段分数”来解释，而不应以“特定的数值”来解释 6对来自不同测验的分数不能直接加以比较,（二）向受测者报告测验分数的原则 1使用当事人所理解的语言 2要保证当事人知道这个测验测量或预测什么，这里并不需要作详细地技术性解释 3如果分数是以常模为参考的，就要使当事人知道他是和什么团体在进行比较 4要使当事人认识到分数只是一个估计 5要使当事人知道如何运用他的分数 6要考虑测验分数将给受测者带来什么影响 7测验结果影响无关的人员保密 8对低分者的解释应谨慎小心 9报告测验分数时应设法了解当事人的心理感受，并采用适当的措施加以引导,