《项目分析》PPT课件.ppt

项目分析,项目分析就是根据试测结果对组成测验的各个题目（项目）进行分析，从而评价题目好坏、对题目进行筛选。包括质的分析和量的分析，如表6.1,表6.1 研究生入学考试英语近3年数据对比分析,本章目的,掌握难度的估计方法了解测验难度水平的确定依据掌握项目区分度的求法及区分度对测验质量的影响了解难度与区分度的关系,一、项目难度,（一）定义（二）估计难度的方法（三）选择题的难度修正（四）项目难度的等距量表（五）测验难度的确定,go,（一）定义,难度就是指测验项目的难易程度。能力测验：项目的难易水平 非能力测验：“通俗性”或者“流行性”水平（popularity level）。难度分析,是对项目的难度进行估计以确定适宜的难度。,back,（二）估计项目难度的方法,测验的计分方法不同，项目难度的计算方法也不同。1、二值记分项目的难度 2、多值记分项目的难度,1、二值计分项目的难度,（1）通过率二值计分：项目的计分只有答对和答错两种情况，计为1或0通过率：以答对百分比（或比率）当项目以1、0计分时，难度等于通过率例如：在200个学生中，答对某题的人数为120人，则该项目的难度为,1、二值计分项目的难度,（2）极端分组法 当项目以1、0计分，而人数较多时，难度等于总分上高分组与低分组通过率的平均数,例：,假设有370个被试，取其中成绩最高的27%（100）人定为高分组，成绩最低的27%（100）人定为低分组，对于某一道试题，若高分组有60人答对，低分组有30人答对，则：Ph=60/100=0.60 Pl=30/100=0.30所以该题的难度为P=（0.6+0.3）/2=0.45,2、多值计分项目的难度,当项目以多值计分时，难度等于平均分与满分之比。例如：设某一问答题满分是20分，全体考生在该题上所得的平均分为10分，则该题的难度为：P=10/20=0.50,当测验不是二值记分，且受测者人数很多时，难度等于总分上高分组与低分组平均分之和与2倍满分之比。,P=,2、多值计分项目的难度,back,（三）选择题的难度修正,在选择题测验中，猜测的成功概率受项目备选答案数目（K，选项数目）的影响（P=），为平衡机遇对难度的影响，采用下矫正公式：如果要比较两个选项数目不同的测题难度，必须应用以上矫正公式分别将两个测题的难度进行矫正，然后才能进行比较分析。,例如：一个五择一的测题难度指数为0.50，一个四择一的测题难度指数为0.53，哪一题的难度大？五择一的测题矫正后难度指数为CP=四择一的测题矫正后难度指数为CP=,可以看到，和未矫正前相反，五择一的测题更难一些。,back,（四）项目难度的等距量表,通过率是以何种量表水平表示难度？1、使用项目难度等距量表的理由 第一，测题的难度一般用答对某题的人数比率或百分比表示。百分量表是等级量表，不是等距量表。因此不能比较题目之间的具体差异。第二，难度量表是反序而行的，P值越大，项目越容易，转换成等距量表后更清晰明了。,2、转换为等距量表的方法,查标准正态分布表，将以等级量表表示的P值转换成具有相等单位的等距量表Z值。P值作为正态曲线下面积时，要从右向左而行。转换好的Z值在平均数以下是负数。为了避免负号出现的情况，使用。,例,在正态分布中，平均数之上或之下一个标准差的距离约占全体人数的34%如果在一个测验中某项目A通过率为84%（0.84），那么这项目的难度-1如果某项目B的通过率只有16%，则这个项目的难度为+1若某题C恰好有50%的人通过，则此题的难度为0,back,=13+4Z：常态化等距难度指标，13为平均数，4为标准差，Z为以为单位的Z值。如，上面所举的例中，其难度值为：题目A：通过率P=0.84 Z=-1=13+4(-1)=9 题目B：通过率P=0.16 Z=1=13+41=17 题目C：通过率P=0.50 Z=0=13+40=13 如果一个题目几乎所有被试都通过（99.8%）,则其Z=-3,=13+4(-3)=1 如果一个题目答对的人很少（0.13%）,则其Z=3,=13+43=25,back,（五）测验难度水平的确定,1、项目难度的确定2、测验难度的水平的确定,1、项目难度的确定,难度分析的主要目的是筛选项目，项目的难度水平取决于：测验的目的测验的作用项目形式,back,2、测验难度水平的确定,整个测验的难度取决于组成这个测验的各个试题的难度。整个测验难度水平的确定，需要根据测验分数的分布作出。,正偏态 由于缺少难度低的项目，所以大部分被试分数会集中于左侧低分端，说明测验过于困难。负偏态 大多数被试集中在右侧高分端，接近满分，这说明测验很多项目太容易了，缺少难的项目。正态 假如在难度中等（P为0.50）并且项目组间相关为零的条件下，分数的分布将为正态。,back,二、项目区分度,（一）区分度的定义（二）区分度的估计方法（三）区分度的相对性,三、项目分析的特殊问题,（一）选择题的项目分析（二）标准参照测验的项目分析,（一）区分度的定义,项目区分度（item discrimination）是指测验项目对于所测量的心理属性的鉴别能力和区分程度，也称鉴别力。,（二）区分度的估计方法,1、鉴别指数法 2、方差法 3、相关法,基本概念：难度 通过率 区分度 项目鉴别指数 练习与思考：1、测验项目分析的作用是什么？2、设受测者在某题上的通过率为10%，试求该题的常态化等距难度 指标。,3、对于一个5中选1的选择题，120人中有80人通过了，试求该题的难度（通过率），并作矫正。4、设一次数学测验题目的区分度以统计学成绩为效标。统计学成绩满分为100分，数学测验第12题以1、0计分。试求数学测验第12题的区分度。在数学测验第12题上的1分者、得0分者的统计学成绩如下：,推荐阅读,大学生艾滋病知识问卷的难度和区分度分析.中国学校卫生，2004，01画人智力测验评分项目的再确定.应用心理学,1998,4(2):9-14,1、鉴别指数法,比较测验总分高和总分低的两组被试在项目通过率上的差别例如：某高中物理测验，高分组在第5题上的通过率为0.75，低分组的通过率为0.35，则该项目的鉴别指数为：D=0.75-0.35=0.40,续上1965年，美国测验专家伊贝尔（L.Ebel）根据长期的经验提出用鉴别指数评价项目性能的标准，如下表所示。,区分度与难度有密切关系,back,2、方差法,当n30时，属于统计上的小样本，改用实际进行项目分析时，被试不能少于30人，提到该公式是由于练习的需要。,back,3、相关法,以项目分数与效标分数或测验总分的相关作为项目区分度的指标,续表,（1）二列相关,二列相关适用于两个连续变量，但其中一个变量被人为分成两类。公式为：或,例：下表有20个学生语文测验总分以及在作文题和一个选择题上的得分情况，假设作文37分（包括37分）算通过，试计算作文题的区分度。,解：,（2）点二列相关,点二列相关适用于一个变量为连续变量，另一个变量为二分变量的数据资料。公式为：,例如：根据上例的资料，计算选择题的区分度。解：,back,(三)区分度的相对性,1.不同的计算方法，所得的区分值不同 两种相关值的比较2.样本容量的大小影响相关法区分度值的大小 3.分组标准影响鉴别指数4.被试样本的同质性程度影响区分度值的大小,back,（一）多重选择题的项目分析,1、步骤 2、对选择项的反应模式注意从 以下几方面进行分析 3、项目分析实例,back,1、步骤,1）选取有代表性的样本370人，按规定的程序，进行预测工作；2）把370份试卷按测验总分的高低次序排列，然后从最高分数的人开始向下取足27%（100人）为高分组，再从最低分数的人开始向上取足27%（100人）为低分组；3）计算高分组与低分组通过每一题的比率，分别以Ph和Pl表示；4）按照区分度与难度的公式，分别求出每一测题的难度与鉴别力指数；5）比较高分组、低分组在测题不同答案上的反应；6）根据测题统计分析的结果，修改测题或选择适当的测题。,back,2、对选择项的反应模式注意从以下几方面进行分析,1.如果正确的备选答案被所有的受测者选择，说明该项目太容易，或者可能是项目中提供某种暗示，使正确答案过于明显。2.如果某个错误答案没有任何被试选择，说明该选项不具有迷惑性，错得过于明显，除了增加阅读时间外，不起任何作用。3.如果所有被试都选择了同一个错误答案，可能是编制测验时把正确答案搞错了，也可能是在教学中发生了错误。,4.如果高分组被试的选择集中在两个答案上，二者选择率相近，说明该题可能、本来就有两种正确答案，或者在某种意义上另一个选择项也有一定道理。5.如果高分组对正确答案的选择率与低分组相等或低于后者，说明该题所考查的东西与被试水平无关，即不具有鉴别力。6.如果一个题目被试未作答的人数较多（速度性测验除外），或者选择各个备选答案的人数相等，说明该项目可能过难或题意不清，被试无法作答或凭猜测作答。,back,接上,3、项目分析实例,1）区分度 取舍题目时，首先看区分度，低区分度的题目不能有效鉴别被试。2）难度 P值一般在0.35到0.65之间为好，但就整个测验而言，难度为0.5的测题应占多数，同时也需要一些难度较大或者较小的题目。3）选项 第一题：正误答案配比较好。第二题：除C答案缺乏鉴别能力外，其余都不错。第三题：未答的人数比例过大，且答案B、C、D均属于负向的。第四题：A项选答的人数较少，D项也有负向性。,4）找出原因，对各题进行修改 不要丢弃不符合要求的项目，因为用内部一致性分析所求得的鉴别力不一定能代表试题的效度。鉴别力指数低的试题不一定表示该试题有缺点。课堂测验的项目分析资料的有效性是随时空而变化的，并非固定不变。有研究表明，编制新的项目需要的时间几乎比修订现存项目长5倍。,back,表1 四种测量水平和量表对应数据特征,GO,测验目的,教育工作中，若测验的目的是为了了解被试在某方面知识技能掌握的情况，可以不必过多的考虑难度。大多数测验希望能较准确地测量个体之间的差别，选择题目时，最好使试题的平均难度接近0.50，而各题难度在0.500.20之间。,back,一般能力测验和成就测验的平均难度在0.50左右比较合适。筛选性测验（选拔性，竞争性测验）则要采用难度接近录取率的项目。,back,测验的作用,对于选择题而言，P值一般应大于概率水平对于是非题而言，其难度值应该为0.75最为合适对于四择一题目，其难度值约为0.63时最为合适,项目的形式,back,1,2,1,3,4,5,6,back,