测验题目性能与题目编写.ppt
第四章 测验题目性能与题目编写,第四章 测验题目性能与题目编写第一节 测验题目类型、功能与题目编写,一、测验题目类型及其功能（一）测验题目类型1 选择题根据题干从备选项中选出唯一正确选项。2 多项选择题根据题干从备选项中选出数目不定的答案，计分方式为全对或全错。3 自陈式选择题从一系列描述行为特征中，选出符合自己情况的选项。备选项的设置方式多样。,第四章 测验题目性能与题目编写第一节 测验题目类型、功能与题目编写,一、测验题目类型及其功能（一）测验题目类型4 是非判断题判断所提供的陈述是对是错。5 名词解释对专业名词作出科学的解释。最好不用复词。6 简单题对相关陈述性知识或简单原理知识作出简要回答。,第四章 测验题目性能与题目编写第一节 测验题目类型、功能与题目编写,一、测验题目类型及其功能（一）测验题目类型7 计算题通过计算或运算解答题目；考察应用能力；答案唯一。8 证明题对命题、原理或定理进行证明。考察逻辑思维能力。9 论述题对某一问题或议题进行综合论述。考察分析、判断、评价以及创新等高层次能力。,第四章 测验题目性能与题目编写第一节 测验题目类型、功能与题目编写,一、测验题目类型及其功能（一）测验题目类型10 案例分析题设置了具体情境、作答要求有较强针对性的论述题。案例来源于实践，但情境中的矛盾更集中、更明显。11 组合题根据已知条件或提供的材料，给出若干小题。12 行为情境判断题给出一个具体情境，并针对情境提供一些解决这一情境下具体问题的行为选项，要求受测者进行选择或评价。主要用于实践能力测验。,第四章 测验题目性能与题目编写第一节 测验题目类型、功能与题目编写,一、测验题目类型及其功能（二）各种题型的特点及其功能1 选择题的特点及其功能（1）计分方便，对阅卷人员要求较低；（2）评分标准客观，减少评分因素带来的误差；（3）适用于对基础知识和基本技能的考察；（4）考察较低层次的能力，如记忆力、理解能力等，不适于考察较高的能力；（5）干扰项的设置要求较高。,第四章 测验题目性能与题目编写第一节 测验题目类型、功能与题目编写,一、测验题目类型及其功能（二）各种题型的特点及其功能2 填空题的特点及其功能（1）考察的能力层次范围较广，主要考察识记和理解能力；（2）评分标准的制定较容易，评分效率较高、误差较小。（3）看不出被试的推理、分析等思考过程。,第四章 测验题目性能与题目编写第一节 测验题目类型、功能与题目编写,一、测验题目类型及其功能（二）各种题型的特点及其功能3 论述题和计算题的特点及其功能（1）没有猜测答案的机会，有利于独立、创造性的答题；考察的知识面较广，工作量较大；（2）高低层次的能力都可考察到；（3）能够清晰的反映被试的思维过程，从而考察被试鉴别和选择信息，分析、推理和综合应用知识的能力；,第四章 测验题目性能与题目编写第一节 测验题目类型、功能与题目编写,一、测验题目类型及其功能（二）各种题型的特点及其功能3 论述题和计算题的特点及其功能（4）试题难易程度的可调范围较广，有利于控制试卷难度；（5）带有主观题的特征，但其公正、合理性优于客观题；（6）阅卷工作量大；对阅卷人要求较高；误差难控制。,第四章 测验题目性能与题目编写第一节 测验题目类型、功能与题目编写,二、测验题目的编写（一）编写选择题的注意事项：1题干要描述清楚，避免出现与考核内容无关的材料2 设问要尽量正向；3 字体一致；4 避免出现逻辑上的包含关系；5 备选项的长度、结构、语言表达要尽量一致；6 增加干扰项的迷惑性，且干扰项的设置能反映出被试缺乏特定的知识或技能。,第四章 测验题目性能与题目编写第一节 测验题目类型、功能与题目编写,二、测验题目的编写（二）编写填空题的注意事项：1 空格处应考察有意义的关键性内容或词语，空格避免出现在句首。2 空格数不宜太多，填写的字数也不能太多；3 空格处考核计算能力并要求填写数字，应在空格后标明数字的单位。,第四章 测验题目性能与题目编写第一节 测验题目类型、功能与题目编写,二、测验题目的编写（三）编写是非判断题的注意事项：1每题只能包括一个重要概念；2 答案应无争议；3 叙述应简单明了；4 避免使用有暗示作用的词汇；5 避免使用否定词，特别不要用双重否定；6 正误比例应基本对应。,第四章 测验题目性能与题目编写第一节 测验题目类型、功能与题目编写,二、测验题目的编写（四）编写简答题的注意事项：1一题一个答案，答案简短具体；2 一般使用直接疑问句编写试题；3 不宜直接从教材上原文抄写试题；5 每题需考核明确的知识点。,第四章 测验题目性能与题目编写第一节 测验题目类型、功能与题目编写,二、测验题目的编写（五）编写论述题的注意事项：1论述的问题是涉及重要知识点、且需要被试综合分析教材内容的基础上才能获得结论的问题；2 试题的表述要明确完整；3 试题应考核课程重点内容，要求达到综合应用层次，关联的考核知识点一般要超过两个；4 试题考核内容应有所限定。,第四章 测验题目性能与题目编写第一节 测验题目类型、功能与题目编写,二、测验题目的编写（六）编写案例分析题的注意事项：1所选案例贴近实际生活；2 试题应是被试应用所学知识和已有能力确实可以得出结论的问题；3 案例应有正确结论；4 考核层次应以大纲对考核知识的最高要求为度。,第四章 测验题目性能与题目编写第一节 测验题目类型、功能与题目编写,二、测验题目的编写（七）编写行为情境判断题的注意事项：1 先确定所测特质的结构，然后征集或编写问题情境及行为反应项；2 问题情境应贴近生活，且有需要被解决的问题，解决方式应多样化；,第四章 测验题目性能与题目编写第一节 测验题目类型、功能与题目编写,二、测验题目的编写（八）编写作文题题的注意事项：1 作文题应具有启发性、新颖性、具有时代感；2 题目范围不应过大或过于宽泛，应范围适中，贴近实际；3 对作文的字数、书写与卷面要有一定要求。,第四章 测验题目性能与题目编写第二节 测验题目的难度与难度分布控制,一、难度的定义及计算方法（一）难度的定义难度是表示项目难易程度的指标。在最优作业测验中，称为“难度”，而在典型反应测验中，则指“通俗性”。两者都是指在总体中，能够正确或确切回答某项目的人数比。难度是一个相对性的指标，是题目性质和被试群体水平共同作用的结果，须通过实践来对难度进行检验。,第四章 测验题目性能与题目编写第二节 测验题目的难度与区分度控制,一、难度的定义及计算方法（二）难度的计算方法1 得分率或通过率得分率指所有被试在该题目上的平均得分占题目满分的百分比。通过率指答对或通过该项目的人数的百分比P=R/NR为通过该项目的人数；N为全体被试数。P值大，通过率或得分率高，难度小。,第四章 测验题目性能与题目编写第二节 测验题目的难度与难度分布控制,一、难度的定义及计算方法（二）难度的计算方法2 极端分组法当被试人数较多时，可以先将被试依照测验总分从高到低排列，分成三组，将总分最高的27%和最低的27%的被试分别定为高分组（NH）和低分组（NL），分别计算两组在该题的通过率，然后用下式计算该题的难度：P=(PH+PL)/2 PH、PL分别为高分组与低分组的通过率。,第四章 测验题目性能与题目编写第二节 测验题目的难度与难度分布控制,一、难度的定义及计算方法（三）难度的等距变化使用项目难度等距量表的理由：难度以项目的通过率来表示，属于顺序量表，无法指出难度之间差异大小；难度值与实际难度是反向关系，P值越大，项目越容易。,第四章 测验题目性能与题目编写第二节 测验题目的难度与难度分布控制,一、难度的定义及计算方法（三）难度的等距变化方法：将P值作正态化变换。把难度值P作为正态曲线下的面积，查标准正态分布表，将P值转换成具有相等单位的等距量表Z值,第四章 测验题目性能与题目编写第二节 测验题目的难度与难度分布控制,一、难度的定义及计算方法（三）难度的等距变化1 计算各题目的通过率，在正态表中它代表的是曲线下的面积；2 用0.5减去未通过率，不计正负号，获得正态分布表中的概率值；3 依照P值查正态表中相应的Z值，通过率大于50的Z值计为负值，小于50的Z值计为正值；,第四章 测验题目性能与题目编写第二节 测验题目的难度与难度分布控制,一、难度的定义及计算方法（三）难度的等距变化由于Z值常含有负值，于是又转化为另一种单位的等距量表：=13+4ZZ表示由P转换得来的标准分数。,第四章 测验题目性能与题目编写第二节 测验题目的难度与难度分布控制,二、合理难度分布及其控制（一）测验试题难度分布对测验分数的影响主要会影响测验分数的分布形态、离散程度、进而会影响测验信度。1难度对测验分数分布形态的影响：若题目过难，被试得分普遍较低，使得测验分数集中在低分端，从而使测验分数呈正偏态；当测验题目难度较小时，被试得分普遍较高，测验得分集中在高分端，分数分布呈负偏态。,第四章 测验题目性能与题目编写第二节 测验题目的难度与难度分布控制,二、合理难度分布及其控制（一）测验试题难度分布对测验分数的影响2 难度对测验分数离散程度的影响测验过难或过易，被试间差异较小，分数的离散程度较小P=0.50时，测验分数分布范围广，离散程度较大。根据信度公式可知，分数分布范围较广，测验信度较高。因此题目难度集中在0.5左右,第四章 测验题目性能与题目编写第二节 测验题目的难度与难度分布控制,二、合理难度分布及其控制（二）合理难度及合理难度分布进行难度分析的主要目的是为了筛选题目，题目的难度多高才合适，取决于测验的目的、性质以及题目的形式。1标准参照测验、掌握测验是为了了解被试在某方面知识技能的掌握情况，不必计较难度的大小；2选拔录用时，应较多采用难度值接近录取率的项目。,第四章 测验题目性能与题目编写第二节 测验题目的难度与难度分布控制,一、难度的定义及计算方法（二）合理难度及合理难度分布常模参照测验，以选择接近中等难度的项目为好。但每道题都是50%，一方面不太可能做到；另一方面，题目间的相关会很高。所以一般，把测验的平均难度控制在0.5，而每道题可在之间波动,第四章 测验题目性能与题目编写第二节 测验题目的难度与难度分布控制,一、难度的定义及计算方法（三）合理难度分布的控制1 对题目难度的控制从控制考核的知识点和能力层次方面进行控制；2 对试卷难度分布的控制控制试卷难度分布是在控制试题难度的前提下进行，它主要通过控制不同难度题目的比例来达到所需的难度分布。,第四章 测验题目性能与题目编写第三节 测验题目的区分度及其提高,一、区分度的定义及计算方法（一）定义项目区分度，又称项目鉴别力，是指测验项目对被试实际能力或心理特质水平差异的区分能力或鉴别能力。即项目得分的高低与被试实际能力或特质水平高低的一致性程度。常用测验总分作为效标分数，将被试在某一题目上的得分与其测验总分求相关。区分度的取值范围介于-1.00至+1.00之间。,第四章 测验题目性能与题目编写第三节 测验题目的区分度及其提高,一、区分度的定义及计算方法（二）计算方法1 相关法基本思想：若题目有好的区分度，则被试在题目上的得分应与测验分数一致；基本假设：总分高的被试为高能力被试，总分低的被试为低能力被试。计算方法：计算被试在某一题上的得分与测验总得分之间的相关系数。,第四章 测验题目性能与题目编写第三节 测验题目的区分度及其提高,一、区分度的定义及计算方法（二）计算方法1 相关法（1）点二列相关项目是二值记分，总分是连续变量，计算项目与总分相关。,第四章 测验题目性能与题目编写第三节 测验题目的区分度及其提高,一、区分度的定义及计算方法（二）计算方法1 相关法（2）积差相关项目和总分均为连续变量,第四章 测验题目性能与题目编写第三节 测验题目的区分度及其提高,一、区分度的定义及计算方法（二）计算方法1 相关法在实际研究中，不仅要报告相关系数的大小，还要将计算区分度的方法报告出来，以及相关是否达到了显著性水平。,第四章 测验题目性能与题目编写第三节 测验题目的区分度及其提高,一、区分度的定义及计算方法（二）计算方法2 鉴别指数法基本思想：若项目的区分度好，则高能力的被试在该题上的得分应高于低能力被试。,第四章 测验题目性能与题目编写第三节 测验题目的区分度及其提高,一、区分度的定义及计算方法（二）计算方法2 鉴别指数法计算方法：将测验总分进行排序，取首尾27，分别为高分组和低分组；分别计算高分组和低分组的得分率；用高分组的得分率减去低分组的得分率。,第四章 测验题目性能与题目编写第三节 测验题目的区分度及其提高,一、区分度的定义及计算方法（二）计算方法2 鉴别指数法D=PH PL PH,PL分别是高分组和低分组在该项目上的通过率取值范围：-1-+1,第四章 测验题目性能与题目编写第三节 测验题目的区分度及其提高,一、区分度的定义及计算方法（二）计算方法不论是相关系数法还是鉴别指数法，计算出的题目区分度的取值范围在11.当r=0时，被试测验总分与被试在该题目上的得分无关，题目不能区分出高低能力被试当r0，被试测验总分与被试在该题目上的得分呈正相关，即高能力者得高分。r0，被试测验总分与被试在该题目上的得分呈负相关，高能力者得低分。,第四章 测验题目性能与题目编写第三节 测验题目的区分度及其提高,一、区分度的定义及计算方法（二）计算方法D=0说明高低分组被试在该题目上的得分率相同，题目无区分能力。D 0说明高分组得分率高于低分组，题目具有积极区分能力。D 0说明高分组得分率低于低分组，题目具有消极区分能力。,第四章 测验题目性能与题目编写第三节 测验题目的区分度及其提高,二、区分度评价标准及其提高（一）区分度的评价标准一般要求0.4以上。区分度是反映题目质量的重要指标，一个区分度较差的题目不能将高低水平被试合理的区分开来，进而会影响测验的信度和效度。,第四章 测验题目性能与题目编写第三节 测验题目的区分度及其提高,二、区分度评价标准及其提高（二）影响题目区分度的因素1 题目难度；项目的难度对测验项目的鉴别力有一定影响，即难度和区分度有密切关系。题目过难或过易，都会导致被试在题目上的得分差异很小，即区分度低；难度接近0.50，项目潜在的区分度越大。,第四章 测验题目性能与题目编写第三节 测验题目的区分度及其提高,区分度与难度的关系,第四章 测验题目性能与题目编写第三节 测验题目的区分度及其提高,二、区分度评价标准及其提高（二）影响题目区分度的因素2 被试群体的同质性；被试越同质，在题目上得分越接近，被试间的差异越难区分，表现出题目无区分能力；3 测验各题所测心理品质的一致性；若题目所测心理品质各不相同，则以测验总分作为能力高低的假设不成立，计算出的区分度降低。4 题目本身的表述和内容质量。,第四章 测验题目性能与题目编写第三节 测验题目的区分度及其提高,二、区分度评价标准及其提高（三）提高题目区分度的方法1 控制好题目难度；当所有项目难度都是0.5，且完全相关（r=1）时，鉴别力低。若项目间适度相关，难度不同（0.30.7），这时鉴别力最好。因为在测验分数量表上，所有分数值都有被试，因此能区分不同能力的被试。,第四章 测验题目性能与题目编写第三节 测验题目的区分度及其提高,二、区分度评价标准及其提高（三）提高题目区分度的方法2 保障题目所测心理品质与全测验所测心理品质一致；总分高时，在某个项目上得分也高，说明该项目和总分有一致性。项目与总分相关高，意味着该项目能把不同水平的被试区分开来，鉴别力大，则测验的有效性高。,第四章 测验题目性能与题目编写第三节 测验题目的区分度及其提高,二、区分度评价标准及其提高（三）提高题目区分度的方法3 题目的表述、题干和答案无歧义；4 借助选项分析提供的信息对不良选项进行修改。,第四章 测验题目性能与题目编写第四节 测验题目的猜测度与猜测控制,一、客观题中的“猜测行为之争”选择题一大缺点是被试有猜题的可能，即凭机遇答题备选答案数目越少，机遇的作用越大，被试的得分将越高于他们的真实水平。大量的猜测会对是非题和选择题的分数产生很大影响，从而给测量带来误差，即猜测误差，来源有二：猜相对于不猜引起的误差；是否猜得对引起的误差，即猜测过程中因随机得分情况不同所引起的误差。,第四章 测验题目性能与题目编写第四节 测验题目的猜测度与猜测控制,二、猜测度的定义及其计算方法猜测度指被试全凭随机猜测而答对题目的概率。猜测行为主要出现在客观题中。对于选择题，被试不知道正确答案，而每个选择项又具有同样的吸引力，被试全凭猜测选中正确答案的概率为1/K，K为选项个数，此题的猜测度则为1/K。,第四章 测验题目性能与题目编写第四节 测验题目的猜测度与猜测控制,三、猜测度的控制1 增加选择项的个数；2 加强干扰项的迷惑性；3 控制存在猜测行为的总题量，以保证将猜测误差控制在较小范围内；,第四章 测验题目性能与题目编写第五节 选择题的选项分析与选项修改,一、选项分析的基本过程1 对被试的测验总分进行排序；2 确定高分组和低分组被试；3 分别登记高低分组被试在各选项上的人数以及未作答人数；4 根据登记结果进行选项质量分析。,第四章 测验题目性能与题目编写第五节 选择题的选项分析与选项修改,二、选项分析的方法及其选项修改原则（一）首先分析两组被试的平均选答率一般正确答案的选答率在0.40.6，错误选择应分布在各个干扰选项上。选项上选答率高或选答率低的问题。（二）对正确答案的分析方法主要考察高低分组被试在正确答案上的选答率之差是否为正值，以及差异是否足够大。,第四章 测验题目性能与题目编写第五节 选择题的选项分析与选项修改,二、选项分析的方法及其选项修改原则（三）干扰选项的分析方法考察高低分组在干扰选项上的选答率之差是否为负值，且差异是否足够大。,第四章 测验题目性能与题目编写第五节 选择题的选项分析与选项修改,二、选项分析的方法及其选项修改原则（四）其他情况的分析（1）如果所有被试都选择正确选项，说明题目太易或提供暗示。（2）如果没有一个被试选择某个错误选项，说明该选项不具迷惑性，错得过于明显。（3）如果所有被试都选择某个错误选项，说明可能把答案定错了，也可能教学中发生了错误。,第四章 测验题目性能与题目编写第五节 选择题的选项分析与选项修改,二、选项分析的方法及其选项修改原则（四）其他情况的分析（4）如果高分组被试的选择集中在两个选项上，选择率相近，说明该题可能有两个正确答案，或另一答案也有一定道理。（5）如果高分组和低分组对正确选项的选择没有区别，或者低于后者，说明所考察的东西与水平无关。,第四章 测验题目性能与题目编写第五节 选择题的选项分析与选项修改,二、选项分析的方法及其选项修改原则（四）其他情况的分析（6）如果所有被试都未回答某个题目，或者选择各个选项的人数几乎相等，说明该题过难或者题意不清，使得被试无法作答或凭猜测作答。,第四章 测验题目性能与题目编写第六节 题目功能差异与测量偏差控制,一、题目功能差异、测量偏差的定义及其侦查方法（一）题目功能差异及测量偏差的定义题目功能差异指不同群体在同一题目上的答对率不同，即不同群体在同一题目上的得分存在差异。原因有二：1 群体间本身水平有差异良性题目功能差异2 群体间本身水平不存在差异而由于其他原因（风俗、性别、种族、地域等）引起不良题目功能差异。存在不良题目功能差异的题目存在测量偏差。,第四章 测验题目性能与题目编写第六节 题目功能差异与测量偏差控制,一、题目功能差异、测量偏差的定义及其侦查方法（一）题目功能差异及测量偏差的定义一致性题目功能差异：被试的能力水平与其所在的组别之间不存在交互作用，即在所有的能力水平上，一组被试回答某一项目的正确率都大于另一组；非一致性题目功能差异：被试的能力水平与其所在的组别之间存在交互作用。,第四章 测验题目性能与题目编写第六节 题目功能差异与测量偏差控制,二、题目功能差异与测量偏差控制存在不良题目功能差异的题目会引起测量偏差，进而导致测量及评价上的不公平性，因此尽量控制不良功能差异题目的出现，避免测量偏差；编题时，充分考虑被试中弱势文化群体或某些特殊文化群体的文化习俗，避免这些原因造成群体性的作答差异，从而形成测量误差；保证题目所测心理品质与全测验所测心理品质一致，避免题目测量了全测验之外的其它品质。,第四章 测验题目性能与题目编写第六节 题目功能差异与测量偏差控制,二、题目功能差异与测量偏差控制题目语言表述规范、无歧义、避免使用方言等初步编制完成的题目应广泛征求不同团体的意见；正式施测前，县进行小规模试测，并修改或删除存在不良题目功能差异的试题。,
