心理测验的难度与区分度.ppt
第四章,项目分析,心理测量学,第四章 项目分析,心理测量学,第四章 项目,一、难度的定义,难度定义难度difficulty：指项目的难易程度，即就是被试完成题目或项目任务时所遇到的困难程度 难度系数：p定量刻画被试作答一个题目所遇到的困难程度的量数，就叫题目的难度系数，也常称为难度值,用符号P表示。,二、难度系数计算方法,以全体被试得分率为难度系数以全体被试通过率为难度系数 P=K/N 以两端组被试得分率的均值为难度系数 P=(PH+PL)/2,P：题目难度X拔：被试在某题目上 的平均得分Xmax：该题目的满分,P：题目难度K：答对人数N：全体被试人数,P：题目难度PH：高分组被试的得分率PL：低分组被试的得分率,（1）按被试的总分，将全体被试者从高到低进行排序。（2）从高分往下找，找出高分组；由低分往高找，找出低分组 两组人数分别占总人数的27%。（3）分别计算高分组、低分组的被试在该题目上的平均得分。（4）代入公式分别计算高分组和低分组被试在同一个题目上 的难度系数。（5）把 和 代入P=(PH+PL)/2，计算这个题目的难度系数。,难度计算实例,例4-1 下表是随机抽取22名被试在某数学测验中四道题目的得分情况，每题的满分分别为1分、2分、3分和4分，请分析其难度。,哪道题最难？,三、难度系数变换,上述所得难度系数，不论是得分率还是失分率，都属于顺序变量，不具有相等的单位，因此，通过p值比较并不能客观指出题目难度之间的差异大小。Eg：三个题目难度系数分别为0.5、0.6、0.7，三个题目之间难度差是否相等？,可知第一题最难，第二题次之，第三题最容易难度系数相差都是10%，但并不代表第一题 与 第二题难度只差等于第二题与第三题难度之差,难度系数变换办法,假设每个试题所要测量的潜在特质或能力是呈正态分布的，然后就可以根据正态分布曲线,将试题的难度系数P作为正态曲线下的概率面积，转换成具有相等单位的等距量表,即Z分数（标准分数）量表。,难度等距转换实例,思考：Z分数为负值时，说明试题难还是容易？,Z值存在负值不易理解，因此做如下转换难度Z值转换公式:=13+4Z：题目难度；Z：由p转换来的标准分数思考：的取值范围？1-25,第1题：=13+4*1.04=17.16第2题：=13+4*0.67=15.68第3题：=13+4*0.39=14.56第4题：=13+4*0.25=14第5题：=13+4*（-0.25）=12第6题：=13+4*（-0.59）=9.64,难度等距转换公式,四、题目的难度分布,P的取值范围为：0P1当P=0时，试题的实际困难程度最大(所有的考生都得0分)当P=l时，试题的实际难度最小(所有的考生都全对)。,常模参照测验难度分布,要尽可能地区分被试的个别差异，测验结果就尽可能拉开距离。P值尽量接近0.50 为宜思考：P等于1或0时，以为着什么，是否还可以区分被试？,实验表明：,所有题目的难度系数分布在0.30至0.70之间，并且整个测验的平均难度系数在0.50左右时，测验对被试有较大的鉴别力，测验分数也接近正态分布,标准参照测验难度分布,目的是检验被试是否已达到教学目标规定的掌握程度教师期望学生都能够在教学之后掌握所有的教学内容通过率达到1.00时，所有学生都掌握了教学内容。如果教学是有效的，多数试题的难度系数P值都会很大，难度系数反映的是教学质量的好坏的成分多于试题质量的好坏的成分不同测验，目的不同，难度值不同。奥林匹克测验？选择补习功课的学生？,心理测量学,第四章 心理测量的难度与区分度,一、区分度的定义,定义：指测验对考生实际水平的区分程度或测验对被试特质差异的区分能力，用符号D表示。具有良好区分度的测验，实际水平高的应该得高分，实际水平低的应该得低分。所以，区分度又叫鉴别力。是评价试题质量，筛选试题的主要指标与依据,区分度的分类,正区分(D0)称积极区分，指实际水平高的考生得了高分，实际水平低的考生得了低分负区分(D0)，称消极区分，实际水平高的考生得了低分，实际水平低的学生得了高分零区分(D=0)指实际水平高低与得分之间没有太大的关系，呈现出零相关,二、区分度的计算,1、相关系数法点二列相关积差相关2、用极端分组法计算区分度：D=PHPLD表示区分度PH表示高分组的难度PL表示低分组的难度,心理测量学,江西师大心理与教育统计测量中心,该方法的基本思想是，若题目有好的区分度，则高能力的被试在该题上应得高分，低能力被试应得低分，即被试在题目上的得分应与测验总分相一致。其基本假设是测验得高分的被试即为高能力被试，测验得低分的被试即为低能力被试。,1、相关系数法,心理测量学,江西师大心理与教育统计测量中心,（1）点二列相关法,1、相关系数法,心理测量学,江西师大心理与教育统计测量中心,（2）积差相关法,1、相关系数法,心理测量学,江西师大心理与教育统计测量中心,基本思想：,2、极端分组法（鉴别指数法）,心理测量学,江西师大心理与教育统计测量中心,例4-2 下表是随机抽取22名被试在某语文测验中四道题目的得分情况，四题满分分别为1分、3分、5分和60分，其中第4题为作文题，请计算四题的区分度。,3、题目区分度计算实例,心理测量学,江西师大心理与教育统计测量中心,3、题目区分度计算实例,心理测量学,江西师大心理与教育统计测量中心,三、区分度的评价标准,1965年美国测量学家伊贝尔根据长期经验提出如下标准：,四、区分度与测验信度、难度的关系,区分度与信度关系此表是1962年RL艾伯发表的，这里是假定全部试题的难度均为050时所预测的信度系数。里面的区分度指的是平均值。可见，要想达到理想的测验信度，提高区分度是一个好方法。,四、区分度与测验信度、难度的关系,区分度与难度关系由上表可知，难度适中，可使区分度达到最大值。,心理测量学,江西师大心理与教育统计测量中心,(1)题目难度(2)被试群体的同质性(3)全卷各题所测心理品质的一致性。(4)题目本身的文字与内容的质量也会影响 题目的区分度,五、影响题目区分度的因素,心理测量学,江西师大心理与教育统计测量中心,(1)控制好题目难度。将题目难度在0.5左右时，区分能力理论上会比较高。(2)保证题目所测心理品质与全卷所测心理品质的一致性。(3)题干及答案无歧义。(4)语言准确规范。(5)借助选项分析提供的信息对不良选项进行修改，以提高题目区分能力。,六、提高题目区分度方法,心理测量学,第四章 心理测量的难度与区分度,一、猜测度的定义,猜测度是指被试全凭随机猜测而答对题目的概率。猜测行为主要出现在客观题（如选择题、是非判断题、配对题等）,心理测量学,江西师大心理与教育统计测量中心,心理测量学,江西师大心理与教育统计测量中心,增加选择题选择项的个数(一般不少于四个)。增加干扰项的迷惑性。控制存在猜测行为的总题量，以保证猜测误差控制在较小范围。如有特殊需要，还可采用警告、扣分等方式控制被试的猜测行为。,二、猜测度的控制,心理测量学,第四章 心理测量的难度与区分度,心理测量学,江西师大心理与教育统计测量中心,一、选项分析基本过程,1、根据被试的测验总分，对被试进行排序2、确定高分组和低分组被试3、分别登记高分组被试和低分组被试在每个备选项的人数及未作答人数（也可以是人数百分比），最终整理成类似表中的数据资料4、根据第3步整理好的数据资料，进行具体分析。,心理测量学,江西师大心理与教育统计测量中心,1、首先分析两组平均选答率一般正确答案的选答率应该在0.4到0.6之间，每个干扰项应该平均分剩余的选答率。如果正确答案的选答率过高或过低，这都不利于区分高分组和低分组被试。如果某干扰项选答率特低，则说明该干扰项错的过于明显应加以淘汰；若某干扰项选答率特高，则要考虑该题正确答案是否错误或有两个正确答案。,二、选项分析的方法及选项修改原则,心理测量学,江西师大心理与教育统计测量中心,2、对于正确答案 主要考察高分组和低分组被试在正确答案上的选答率是否是正差，及这一差距是否足够大。只有当高分组和低分组被试在正确答案上的选答率是正差，且这一差距足够大时，这时题目质量较佳。,二、选项分析的方法及选项修改原则,心理测量学,江西师大心理与教育统计测量中心,3、对于干扰项考察高分组和低分组被试在干扰项上的选答率是否是负差，及这一差距是否足够大。只有当高分组和低分组被试在正确答案上的选答率是负差，且这一距差足够大时，这时干扰项的设置比较合理，否则干扰项设置不合理，应对干扰项进行删除或修改。,二、选项分析的方法及选项修改原则,心理测量学,江西师大心理与教育统计测量中心,4、其它如果高分组被试的选答集中在两个答案上，且人数又相近，说明此题可能有两个正确答案，或者在某种意义上另一个选择项也有一定道理。应考虑题目本身是否存有歧义或有两个正确答案。如果高分组对正确答案的选答率与低分组相等或低于后者，说明该题所考察东西与被试水平无关，即不具有鉴别力，此题应作大修改或删除。如果一个题目被试未作答的人数较多（速度测验除外），或选择各个备选项答案的人数相等，说明该题目过难或题意不清，被试无法作答或全凭猜测。应修改或删除本题。,二、选项分析的方法及选项修改原则,心理测量学,江西师大心理与教育统计测量中心,例4-3下表为一个由370人参加的英语测验中四道选择题的统计结果，试分析每题难度、区分度是如何计算出来的？并对这四题的选项质量进行评价。,三、项目分析实例,心理测量学,江西师大心理与教育统计测量中心,三、项目分析实例,心理测量学,江西师大心理与教育统计测量中心,选项分析：第1题，正确答案和干扰项的两组平均选答率都基本正常，在正确答案上高分组的被试选择人数要多于低分组被试，且在非正确选项上，高分组的被试选择人数要少于低分组被试，这符合实际情况，四个选项的设置均较合理；,三、项目分析实例,心理测量学,江西师大心理与教育统计测量中心,三、项目分析实例,选项分析：第2题，正确答案和干扰项B的两两组平均选答率基本一致，且正确答案上高分组的被试选择人数要少于低分组被试，而在非正确选项B、D上，高分组的被试选择人数要多于低分组被试，这均不符合实际情况，且高分组被试中选择人数最多的为选项B，则要考虑该是否有2个正确选项，因此该题选项设置较差，因此整题质量较差。,心理测量学,江西师大心理与教育统计测量中心,选项分析：第3题，选项A、B、D两组平均选答率都基本正常、设置均较合理，但选项C需修改；第4题，选项A、D设置合理，选项C设置不合理需修改，不论高分还是低分组被试均无人选择B，该选项无任何迷惑作用，可删除该选项，并换其它具有迷惑性的选项。,谢 谢！,
