关于命题技术的探讨.ppt

《关于命题技术的探讨.ppt》由会员分享，可在线阅读，更多相关《关于命题技术的探讨.ppt（45页珍藏版）》请在三一办公上搜索。

1、对学业水平考试命题技术的探讨,湖南省教科院基础教育研究所徐远征,基本概念：考试命题将考试内容与要求转化为考试试题的过程。命题技术将考试内容与要求转化为考试试题所采用的命题策略与方法，对考点及素材的处理与设计，以及研制和使用命题工具的能力，命题技术是命题者命题能力的具体体现。,一、考试的类别、特点与功能（一）常模参照性考试（选拔考试）1.常见的常模参照性考试 普通高校招生考试，出国留学考试，公务员考试，有的学校分快慢班的考试，高中学生数学、物理、化学、生物、信息技术5个学科的奥林匹克竞赛、（高考模拟考试）等。2.常模参照性考试的性质、特点与功能 性质：以个体分数在常模中的相对地位来解释考试分数意

2、义和价值的考试。与“目标参照性考试”相对。属于相对评价。常模即某团体的成绩，其主要指标是平均分和标准差。离开考生群体来解释考生的分数是没有意义的。特点：特别关注试题的区分度，而区分度又与难度密切相关。实践中，通常是从高分到低分择优选拔考生，这种优胜劣汰的选拔方式是常模参照考试的主要特征。功能：区分考生的不同水平，有利于选拔优秀的考生。,案例：湖南省常德市一中是湖南省首批示范性高中。1956年全国高考，该校以平均分43分夺得了湖南省物理学科高考红旗，并派代表出席了全国群英会。,（二）目标参照性考试（水平考试）1常见的目标参照性考试 学校或班级内进行的单元检测、期中考试、期末考试，初中毕业学业考试

3、（中考），普通高中模块学习学分认定考试，普通高中学业水平考试，获取汽车驾照的考试等。2目标参照性考试的性质、特点与功能 性质：以预定的教学目标为标准确定个体成绩的考试。与“常模参照性考试”相对。属于绝对评价。教学目标通常可理解为教学的基本要求。特点：特别关注目标的达成度。试题难度的确定以教学目标为依据，对试题的区分度没有要求。通常用合格与不合格（或等级）来进行评价。功能：旨在判断考生是否达到教学目标以及教学的有效性程度。,3.目标参照性考试命题在日常教学应用中已经被异化 例如：摸底考试、单元考试、月考、期中考试、期末考试，这些在日常教学中进行的考试本都属于水平考试的范畴，但长期以来由于我们忽略

4、了对水平考试的研究，把大多数水平考试都变成了选拔性考试或准选拔性考试。甚至有的教师已经把命制难题当作是“激化”学生学习热情的手段。显然，这种“增压”式的教学方法是违背教育教学规律和学生认知规律的，给学生带来的常常是焦虑和恐惧。,（三）普通高中学业水平考试是典型的水平考试 1.指导思想促进学校全面贯彻党的教育方针，全面实施素质教育，全面落实普通高中新课程方案。2.基本原则全面考察，注重基础，面向全体，强化管理。3.基本定位评估学生基本的学习水平、能力及德智体美各方面发展状况；评价普通高中学校和校长的办学思想、课程理念、教学水平，引导学校通过学业水平考试抓好教学、提高质量和完善管理，引导社会和家庭

5、形成正确的教育观、质量观和人才观。4.总体要求学科及格率为95%以上，全科合格率为90%左右。2009年-2013年，全省学业水平考试全科合格率分别为67.23%、82.41%、91.89%、87.82%、88.75%。,二、试题的质量指标难度、信度、效度和区分度（一）难度与难度控制 选拔性考试如高考，通常要求将试题平均难度系数控制在0.50.55，试题的难度区间大致在0.330.77之间。水平考试：通常要求将试题的平均难度控制在0.8左右。我省普通高中学业水平考试要求难度控制在0.80.85之间，试题的难度区间大致是:0.55 0.85以上（其中容易题0.85以上，中档题0.70.85，稍难

6、题0.550.70），而且，容易题、中档题和稍难题的分值比为7:2:1。,1.什么是难度？难度是指试题的难易程度，是体现试题与学生实际知识和能力水平相适合程度的量化指标。试题的难度是由学生的答题情况反映出来的，通常用得分率（通过率）来表示。也有用失分率（未通过率）来表示的。,2.难度控制的意义：（1）依据教学要求，命题时有目的地控制试题的难度和试卷的平均难度，有助于提高命题的科学性和针对性。（2）试题的难度不仅对区分度有直接的影响，而且还直接影响试题的信度和效度。（3）难度是评价试题质量最重要、最基本的指标。（4）试题的难度和试卷的平均难度，对考试的及格率有非常大的影响。对于水平考试:有资料介

7、绍，当学生成绩（标准化考试）呈正态分布时，若平均难度系数为0.8，则及格率可达到99.86%；若平均难度为0.75（只下降0.05个单位），则及格率急剧下降为84.1%。,3.难度控制的方法难度预估 命题时命题人依据自己的实践经验，在对影响试题难度的可控因素进行认真分析的基础上，按照一定的程序，对试题难易程度预先作出的定量估判，得出预估难度系数。基本步骤如下：（1）分析影响试题难度的可控因素 试题中设置的情景（包括图表）与条件的复杂程度；试题中包含的知识点与信息量的综合程度；试题中提出问题属性和学生对该问题的熟悉程度；试题中处理信息、分析推理的思考程度。,（2）借用三个难度级别（容易题、中档题

8、、稍难题）和相应的难度系数范围（容易题0.85以上，中档题0.700.85，稍难题0.550.70），对影响试题难度的上述四个因素的难易程度进行分析和判断，并对每一个因素赋予相应的难度值。（3）假设影响试题难度的四个可控因素对试题的影响程度大致相当，我们便可根据所赋予的四个难度值初步计算出该试题的预估难度系数。（4）对试题给出一个经验判断值，结合计算值，确定该试题的预估难度。,4.学业水平考试命题实践中有关难度控制的认识误区 把难度控制看着是为降难度而降难度，忽视了对教学基本目标的研究，以及这些基本目标对试题难度的合理要求。初次命题的教师抱怨：“难度实在是没法再降了，再降就不会命题了”。对什么

9、是好试题、高水平试题的认识模糊，缺乏从考试的性质、特点和功能的高度评价试题意义和价值的认识。初次命题的老师担心：“试题没有一定的难度，就象白开水一样没有味道，也会让人说命题人没有水平”。目前，参与命题的老师对难度控制都有了统一的正确认识,（二）信度 1.什么是信度？信度是衡量考试分数一致性或可靠性程度大小的量化指标。通常是用两次测验结果的相关系数来表示，系数为1，表明分数完全可靠，若为0，表示完全不可靠。2.检测信度的方法：重测法试题的稳定性：用同一份试卷对同一批学生进行重复测验，如果考试结果学生得分一致性高，则考试的信度就好。复本法试题的等值性：命制内容、难度等值的两份试卷，如我们学业水平考

10、试编制的正卷和副卷，对同一批学生进行重复测验，如果考试结果学生得分一致性高，则考试的信度就好。同质法（折半法）试题间的一致性：将试题分为两等分，对同一批学生进行重复测验，如果考试结果学生得分一致性高，则考试的信度就好。,信度计算公式表明：若各试题之间难度相差较大时（两极分化：难题很难，容易的题很容易，没有过渡），信度值将会偏低。标准化考试的信度值应在0.9以上；学业水平考试这样大规模考试的信度值应在0.7以上。我省普通高中学业水平考试各科信度均在0.8左右。,（三）效度 1.什么是效度？效度是指测试结果与测试目标的符合程度，是测试内容反映学科课程内容有效性程度的指标，即所命制的试题是否测到了想

11、要测试的内容。2.效度的分类及估算方法：常见的有内容效度、结构效度和效标效度。内容效度是最常用的一种方法。内容效度是指试卷对所要测知识内容的覆盖程度，覆盖程度越高，试卷的内容效度越好。就一道试题而言，如果运用其他学科知识或有关常识就可作出解答而不需要运用本学科专业知识，或者试题内容不是我们想要测试的内容，则该试题的效度就很低，命题者对此应给予重视。,3.估计内容效度的方法 逻辑分析法根据教学大纲的要求，提炼出学生应掌握知识内容的范围和深度，然后以逻辑分析的方法估计测验在多大程度上代表了这些内容，在多大程度上能够测量出所要测量东西的程度。比较分析法完成试卷编制后，对试题进行分析和归类，并以试题题

12、号为纵坐标，制定一个类似于双向细目表的试题检核表，然后将检核表与双向细目进行比较，确定各部分（知识覆盖率、不同内容和目标的百分比）指标相符合的程度，以此判断内容效度的高低。我省普通高中学业水平考试对效度的控制，主要体现在对各学科知识覆盖面必须达到80%以上的具体要求上。,4.效度与信度的关系：信度是效度的必要条件，但不是充分条件。一个测量的效度高，其信度必然高；一个测量的信度高，其效度不一定高；一个测量的信度低，其效度不可能高。,(四)区分度 1.什么是区分度？区分度是把不同水平的学生区分开来的量化指标。区分度的数字范围在-1和+1之间。对于选拔性考试，要求试题的区分度高，要能够拉开不同水平学

13、生之间的分数距离，使高水平者得高分，低水平者得低分；如果区分度低，则反映不出不同水平学生之间的差异。通常，区分度若在0.3以上，就是较好的试题，若在0.4以上，就是较优秀的试题。对于水平考试，一般不特别强调区分度，有的试题区分度甚至会等于0，因为水平考试试题的难度是根据教学内容及目标确定的。但对于区分度为负值的试题（差生比优生更容易得分）则必须删去。试题的难度与区分度共同决定了试题对不同水平学生的鉴别性，且对信度和效度有重大影响。,2.区分度与难度的关系：难度是区分度的必要条件。难度越接近0.50，试题的区别作用就越大；较难的试题，对高水平学生的区分能力强；较容易的试题，对低水平学生的区分能力

14、强；中等档次的试题，对中等水平学生的区分能力强。难度（P）1.00 0.90 0.70 0.50 0.30 0.10 0.00 区分度的最大值 0.00 0.20 0.60 1.00 0.60 0.20 0.00,关于水平考试命题的思考：1.命题的核心问题是什么？2.确定试题难度的基本原则有哪些？3.评价命题者命题水平的标准是什么？4.怎样的试题才是有水平的试题?,三、试题分析的基本统计量平均分、标准差、差异系数和分布形态 1.平均分 平均分（一种常用的集中量数）是学生分数相加求和再除以学生总数的统计量，反映了学生考试成绩向某一分数点集中的趋势，是学生集体考试分数的最好代表，能粗略地反映学生成

15、绩的平均水平。通过平均分可以直接判断试题的平均难度。我省2011、2012、2013年普通高中学业水平考试各科的平均分都在84、85、82分以上，各科难度系数即为。0.84、0.85、0.82以上。（但进行试题分析时，仅仅比较平均分还不能完全清楚地说明分数分布的全貌，通常还要利用平均分来计算标准差、差异系数等，用以描述分数分布更深刻的内涵。）,2.标准差（1）什么是标准差？标准差（一种差异量数，也称变异数）是指一组考试分数离平均分的平均差距（距离），是描述学生集体考试成绩离散（分化）程度的统计量，反映了学生个体分数之间波动性大小（即两极分化程度的大小）。标准差的测量单位是“分”。（标准差的计算

16、：每一个学生的分数与平均分的差的平方和，除以学生总数，再开平方，即得标准差。）,（2）标准差的意义：标准差越大，表示学生考试分数分布区域越广，离散程度越大；标准差越小，则表示考试分数的分布区域较窄，集中在平均分附近。对于选拔性考试，其标准差通常在20分25分左右；对于水平考试，其标准差应该在10分左右，最好是在10分以内。我省学业水平考试是通过各学科命题组切实把握好试题的难易程度和内容效度来控制标准差。2013年统计结果显示各科标准差均在10分左右，语文最低7.78，物理最高14.53。,3.差异系数（1）什么是差异系数？差异系数（也称相对标准差）和标准差一样，也是描述学生集体考试成绩离散（分

17、化）程度的统计量。差异系数的计算：标准差除以平均分，乘以100%。根据经验，差异系数的值一般在5%35%之间。（2）差异系数的意义：差异系数在考试成绩分析中，通常用来比较两组平均分差别比较大的数据之间离散程度的大小（如：同一个班级两个不同学科的考试成绩，或两个不同班级同一学科的考试成绩的比较）。差异系数越大，表示学生考试分数的离散程度越大，反之则越小。通常情况下，当差异系数9%时表示水平整齐无分化；当差异系数20%时表示已经分化；当差异系数在两者之间时，表示有分化的苗头。2013年统计结果显示，差异系数语文最低8.90%，物理最高17.59%。,案例1：一个城市高中的某学科2013年全省学业水

18、平考试平均分为80分，标准差为12分；某农村高中该学科的平均分为50分，标准差也是12分。此时直接比较平均分，显然不合适，因为两校学生来源明显不同；直接比较标准差，也不一定使人信服，因为对于示范性高中增加或减少12分的影响远远小于农村高中增加或减少12分的影响。这时就要凭借各自的平均分来表示标准差的相对差别，即计算其差异系数。计算结果为：示范性高中15%，农村高中24%，说明该农村高中在该学科的两极分化很严重。如果只比较标准差是不能得出此结果的。,案例2：如A学科全省的平均分为81分，标准差为11.6分；B学科全省的平均分为65分，标准差为10.1分。从标准差来看A学科分数的离散程度较大，但计

19、算差异系数的结果却说明：B学科分数的离散程度（15.6%）大于A学科（14.3%）。,4.考试成绩的分布形态 是以参加考试学生的分数为横坐标，以不同的学生获得某一相同分数的次数（或人数）为纵坐标描绘出来的考试分数的“次数（或频数）分布曲线”，通过该曲线能比较直观、粗略地估计试题的质量。考试成绩的分布形态一般有以下几种：,（1）正态分布标准化测验：说明测试结果与学生实际情况一致（心理学研究表明，人的智力水平符合正态分布；大部分学生的学习水平处于中等，优秀学生和较差学生的比例都比较小），各种难度试题的比例合理。（2）正偏态分布选拔性测验：说明试题难度偏高，难度较大的试题比例偏大，有利于区别优秀学生

20、和中等学生。（3）负偏态分布达标性测验：说明试题难度偏低，难度较低的试题比例偏大，有利于区别较差的学生和中等学生。,（4）双峰型分布：说明试题存在两极分化现象，难度偏高和难度偏低的试题较多，中等难度的试题偏少，试题难度的分布缺乏梯度，不够合理。（5）平坡型分布：说明试题中各种难度的试题比例相近，梯度较大，试题区分度较高。（6）陡峭型分布：说明试题中同等难度的试题较多梯度偏小，几乎不能区分不同程度的学生，分数过于集中。,四、双向细目表的编制 双向细目表也称命题细目表或考试蓝图。双向细目表一般用两维表格进行设计，包括考试内容、考试目标（或能力层次、要求）和权重三个核心要素，其他要考虑的因素还包括题

21、型、题数（题号）、难度系数等。通常用纵坐标表示考试内容（册、单元、章节、知识点等），横坐标依次表示能力题型、能力要求、难度级别、预估难度系数等，并将相关分值分配其中。,1双向细目表的编制步骤。（1）先按有关要求画出二维表格。（2）确定知识覆盖面：将考试标准中的内容划分为大、中、小三个层次的知识单元，要求大知识单元（如：册、单元、章）覆盖100%，中知识单元（如节）覆盖80%以上，小知识单元（或知识点）可有一定的灵活性。（3）将确定的考试内容（知识考点）、能力要求写入两维表中。（4）确定各知识考点的题型。（5）确定每一个小题包含的知识点、能力层次和权重（分值）。（6）根据考试大纲中规定的难度分布

22、要求，对每一个试题的难度级别和难度系数进行初步预估，待命题讨论中进行调整。（7）调整、完善双向细目表。,2.根据考试大纲的要求，计算出“双向细目表”的内容结构(分值)、能力结构(分值)和预估难度结构(系数)。3.“双向细目表”示例 编制双向细目表是一项复杂的工作，要严格遵循有关程序进行，双向细目表制定完成后，应严格按照细目表的要求进行命题，不宜随意更改。双向细目表属于命题工作的核心文件，不能外传，命题结束时应交保密人员。,五、试题的命制 1试题的来源 通常考试试题的来源有三个途径：（1）根据双向细目表中确定的知识点及题型、难度和能力要求，结合自身教学实践自己编写试题，这类试题具有较好的原创性、

23、针对性和新颖性，是最主要的试题来源；（2）将教材中的习题改编成考试试题；（3）从题库中调出试题并进行改编。根据目前我省的实际情况，省级水平考试一般采用前两个途径，并要求原创试题占50%，根据教材习题改编的试题占50%。严禁使用任何针对学业水平考试编写的各种复习资料、模拟试卷中的原题。,2.命制试题的基本思路（1）从双向细目表中选择一个知识考点，了解其能力层次、题型和难度级别（容易题、中档题、稍难题）的要求；（2）分析该知识点在相关知识体系（章、节）中的位置、与其他知识点的联系以及在生产生活中的应用；（3）根据题型特点，创设恰当的情景，将考点融于情景之中；（4）有针对性、恰到好处地确定该试题要提

24、出的具体问题，即确定考什么。（5）反复斟酌试题的科学性、考查目标的明确性和文字图表描述的准确性和流畅性。,3.几种基本题型试题的命制（1）选择题：评分标准客观，有利于覆盖知识面；但较难反映学生解题的思维过程，并提供给学生一定的猜题的机会。命题时，要避免无效或低效的选项，关注试题的信度和效度。（2）填空题：比较容易做到客观，能够避免学生凭猜测作答。命题时，一要防止将填空题变成选择题（甚至是二选一），二要避免选择教材中的一句完整的话留出关键词让学生填空，导致学生死记硬背。,（3）简答题：能从不同角度考查学生对知识的理解、运用、描述的能力，能较深入地考查学生的学习水平；但评分不易做到客观。命题时，要

25、避免完全照搬课本问题的简答题。（4）计算题：命题时，要在基础性上把好关，注重思维方法，数字尽可能简单，避免计算复杂繁琐，整体难度与课程标准的基本要求一致。,（5）综合型试题：这类试题在内容上有较强的综合性，形式上可能包含了不同的题型，能比较全面、深入地考查学生对知识的记忆、理解、分析、迁移、综合、运用的水平，但评分过程容易受主观因素的影响。命题时，应注意提出问题的梯度，使试题具有较好的层次性。由于试题信息量较大，思维密度较高，试题的命制有一定难度。此外还要特别注意试题描述的逻辑性和试题内在的逻辑关系。,4集体研讨 命题组全体成员对每一个试题进行深入讨论是命题过程中十分重要的环节，对于提高命题质

26、量具有举足轻重的作用。讨论的要点包括以下几个方面：（1）试题考查的知识点是否到位；（2）试题的情景、提出的问题、选项和参考答案是否科学合理；（3）试题的能力层次定位是否准确；（4）试题的难度级别的定位和难度系数的预估是否恰当（确定预估难度）；（5）试题是否有创新点。,六、试卷的编辑与校对（一）编辑 编辑试卷是形成高质量命题成果的重要步骤，必须给予高度重视。编辑试卷时应注意下列问题：1试卷的格式、字体、符号等要完全符合相关考试的要求，体例应与样题一致。各科卷面、答题卡上公共文字部分的体例、字体、字号应作统一要求。2一张试卷中试题的排列应由易到难、循序渐进，以有利于学生作答为原则。3编辑试卷时应依

27、据双向细目表，重点分析并计算试卷的结构是否符合要求，包括知识结构（覆盖面是否达到要求）、能力结构（能力层次定位是否准确）和难度结构（是否符合平均难度的要求）。,4.编辑试卷完成后，要求命题者独立、模拟作答。模拟作答的基本要求是：要有一丝不苟的态度和严谨、敏捷的思维，争取主动发现问题；要以被试学生的心态进行审题和答题，争取发现更多的问题；要在作答过程中多问几个“为什么”，有助于我们发现隐藏较深的问题；要以普通教师的身份“另眼相看”，尽可能完善和提升试题的“境界”。,（二）校对 1.试卷清样的校对分为“文稿校对”和“胶片校对”两种，其中文稿校对要求至少完成3-4校，胶片校对完成1-2校；命题组全体

28、成员全程参与校对。2.每次校对都要全面、完整，包括试题、答案和答题卡同时校对，不能分开校对；进行二校以上的校对时，不能只对“红”。3.要求个人校对和集体校对相结合，先个人校对，后集体校对；集体校对时，要求1人读题，1人监读，1人对照样稿监听；集体校对应不少于两遍。,七、遵循科学、规范的命题程序 1.集中培训统一思想认识，明确任务与责任，全面技术指导。2.小组讨论分析上届统计数据，研究一线教师的意见建议，提出具体改进措施。3.制定计划 根据命题任务、要求，制定详细的命题计划，进行合理的分工，确保命题按计划进行。4.编制双向细目表充分体现试卷的知识结构、能力结构、难度结构、题型结构和分值分配结构。5.模拟命题根据双向细目表，选择2-3个考点进行模拟命题，集体讨论命题得失，明确命题方向和技术要求。,结语：考试命题是一项十分严肃、细致、专业性强的艰苦工作，提高命题技术有一个“学习实践反思顿悟”的成长过程。实践表明：坚持对学业水平考试命题技术进行深入探讨，将会促进命题教师不断加深对学业水平考试性质、功能和命题要求的理解，不断提高命题水平和试题质量，并在教学观、质量观和考试评价观等方面发生积极的改变。,谢谢！2014/03,