快速评卷最优策略.docx
《快速评卷最优策略.docx》由会员分享,可在线阅读,更多相关《快速评卷最优策略.docx(26页珍藏版)》请在三一办公上搜索。
1、 最优快速评卷策略摘要在确定像数学建模竞赛这种比赛形式的优胜者时,评委常常需要评阅大量试卷。本文主要讨论了如何制定快速评卷方案,使每个阅卷人批阅答卷份数最少,以提高评卷效率,同时使评阅准确率足够高,以保证评卷结果的公平公正。本文在建立评卷模型前,先对试卷进行加(解)密处理,以保证评卷过程和结果的公平公正,然后对阅卷人员进行评阅测试,得到每个评阅人员的评分类型,其中评分类型分为偏激、中间和保守,这样纠正了由于阅卷人个人喜好而造成的系统误差。 针对评委评审论文的实际需要,在充分合理的假设条件下,本文提出了两种评审方案,建立了以目标函数为的圆桌评卷的优化模型,再利用软件对两种方案进行了仿真模拟,同时
2、检验其精确度。在P=100,J=8,W=3的条件下,对方案一仿真模拟1000次得到的结果如下表所示评阅人1号2号3号4号5号6号7号8号评阅数目2121212120202121总评阅数目166准确率99.7%在P=100,J=8,W=3的条件下,对方案二仿真模拟1000次得到的结果如下表所示评阅人1号2号3号4号5号6号7号8号评阅数目2626262626262626总评阅数目208准确率96.1%若采用方案1,总工作量为288篇,每位评委的工作量为35篇或37篇,准确率R在95%以上,保证了相当高的精确度;若采用方案2,总工作量为208篇,每位评委的工作量均为26篇,准确率R在96.1%以上
3、。最后本文对于两种方案的结果,进行了分析评估,还讨论了P,J,W变化时,对准确率的影响。当、一定时,评委人数的数目越多,准确率越高;当、一定时,最终选出优胜试卷的份数越多,准确率越高;当、一定时,答卷数目越多,准确率越低。关键词:最优评卷方案 计算机仿真 圆桌评卷模型 系统误差 1问题重述1.1问题背景在确定像数学建模竞赛这种形式比赛的优胜者时,常常要评阅大量的答卷。基于竞赛资金,对于能够聘请的评阅人数量和评阅时间的限制,所以制定一种快速评卷策略对于评审团十分重要。1.2评卷方案相关信息理想的情况是每个评阅人看所有的答案,并将它们一一排序,但这种方法工作量太大。另一种方法是进行一系列筛选,在一
4、次筛选中每个评阅人只看一定数量的的答卷,并给出分数。为了减少所看答卷的数量,考虑如下的筛选方法:如果答卷是排序的,则在每个评阅人给出的排序中排在最下面的30%答卷被淘汰;如果答卷没有排序,而是打分(比如说从1分到100分),则某个截止分数线以下的答卷被淘汰。这样,通过筛选的答卷重新放在一起返回给评阅小组,重复上述过程,人们关注的是,每个评阅人看的答卷总数要显著地小于P。评阅过程直到剩下W份答卷时停止,这些就是优胜者。当P=100通常取W=3。注意在打分时存在系统偏差的可能,例如,对于一批答卷,一位评阅人平均给70分,而另一位可能给80分。在你给出的方法中如何调节尺度来适应竞赛参数(P,J和W)
5、的变化?1.3需要解决的问题你的任务是利用排序、打分及其他方法的组合,确定一种筛选方法,按照这种方法,最后选中的W份答卷只能来自“最好的”2W份答卷(所谓“最好的”是指,我们假定存在着一种评阅人一致赞同的答卷的绝对排序)。例如,用你给出的方法得到的最后3份答卷将全部包括在“最好的”6份答卷中,在所有满足上述要求的方法中,希望你能给出使每个评阅人所看答卷份数最少的一种方法。在你给出的方法中如何调节尺度来适应竞赛参数(P,J和W)的变化?2.模型假设与符号说明2.1问题假设假设一:假设存在评委一致赞同的绝对分数,评委的评分能力处于较高水平;假设二:假设各评委独立工作,互不干扰,评卷过程绝对公平;假
6、设三:假设评委打的分都为整数,打分是按照百分制进行的;假设四:假设计算机仿真出来的数据具有很好的代表性;假设五:假设对于同一份答卷,每个评阅人员只能评阅一次,若再次分到已评阅 的试卷,就上交,重新分配;假设六:假设每个评阅人评阅单份试卷的时间、费用都相等, 时间、费用与阅卷 份数成正比;2.2符号说明符号符号说明评卷开始前总的答卷份数评委的人数优胜试卷的数目第位评委对第号试卷评的实际分数第位评委对第号试卷评后修正的分数第份试卷被数名老师评后的加权平均分第份试卷的绝对分数第轮第份试卷被打分的次数第位评委打分时的系统误差第轮总共有份试卷所有评卷人评阅试卷的总次数模型仿真1000次的准确率3问题分析
7、 在确定像数学建模这样的大型竞赛的优胜者时,常常要评阅大量的答卷,对于评阅人来讲是一个很大的工作量,如果分配试卷的方法不够合理,也许还会使工作量加重。问题就是要求我们利用排序、打分及其他方法的组合,确定一种筛选方法,可以使批阅的答卷尽量的小。而我们也知道考试的评阅答卷过程应该尽量的公平,而且评阅人在打分的时候存在系统的偏差。接下来我们就讨论这两个方面分析,从而推导出评阅试卷的程序。3.1批阅试卷数量的分析如果有份答案,由位评阅人组成的小组来完成评阅任务,由于受到竞赛资金、能够聘请的评阅人数量和评阅时间的限制,我们在批阅答卷的时候不可能达到理想的情况,即每个评阅人员看所有的答案,并进行一一排序,
8、这种方法的工作量太大。为了减少所看答卷的数量,将答卷随机平分给评阅人员,然后采用淘汰制将每位评阅人给出的排序中的排在最下面的30%答卷淘汰。而我们的排序是在打分的基础之上的,所以每个评阅人都对答卷打分之后,再对自己手中的试卷排序,从而淘汰30%的答卷,这样每次就可以减少每位评阅人员一定数量批阅份数。之后重复这样工作淘汰30%可以使答卷越来越少。而对于淘汰的答卷我们就不予理会,这样会减少工作量。题目中也要求在从份答卷中选取份的优胜答卷,应当来自于最好的份中,所以当每个阅卷人手中的试卷接近份时,应当对答卷详细的打分,就是说应当让每个评委都打分,最后共同在将近份答卷内选出最优的份答卷。3.2公平性的
9、分析由于像数学建模这样的开放性竞赛答卷,都是由每一个考生按照自己的思维所得到的答案,所以答卷并没有标准的答案,也就是老师的主观因素对答卷的分数起很重要的作用。还有就是每个评阅人对于同一份答卷也会打出不同的分数,这也是我们不能忽视的因素。这些系统误差和一些偶然误差都会导致不公平的发生,所以我们应该尽量减少这种不公平性的发生。这就需要我们对每一个评阅人所打的分数有一个统一的评估,让每个评阅人对同一份答卷打分,我们可以用一个方法,尽量使这些不统一的分数用调整后的分数来衡量。而淘汰答卷时我们在资金、人员、时间的允许下也可对淘汰的试卷打分。最后在从将近份答卷内选出最优的份答卷时,我们也尽量的让优胜者是在
10、尽量多的人都满意的情况下产生,这样我们既保证了优胜者是优秀的,被淘汰的答卷也是在公平的条件下被淘汰的。对于系统误差我们可以引入加权平均值来调节每个评阅人员的评分偏差,但是对于评阅人员个人也存在偶然误差,在批阅答卷的时候由于时间和评阅人员体力的影响,在刚开始评卷时对答卷的生疏会产生误差,处于中间阶段状态最佳,误差也是最小,随着时间和体力的疲劳就会产生疲劳误差。由于自己的偶然因素产生的误差也应该考虑到。3.3评卷流程分析综合以上两种情况的分析,我们在评阅答卷的时候在保证批阅答卷的总份数尽量少的基础之上,确立了两种评卷流程;最后可以得到模型的流程图:开始加密修改评卷方案对阅卷人员进行培训第一轮筛选第
11、2轮到第轮筛选第轮筛选出前三名 否算出总评阅次数和准确率 方案合理是各方案对比分析,找出评阅次数最少的方案 图一:仿真流程图4.数据的获取与处理4.1仿真出100份试卷的真实分数据经验可知,对答卷所打的分数符合正态分布,本题中采用的是百分制所以。用计算机模拟答卷分数并将P=100份试卷进行1100编号。如下表:编号数据编号数据编号数据编号数据编号数据1732170417961878191266228942766273826237423774363634883884582464447264728480557256645776559857167426584664665786617722774477
12、16767877786628724864688688849552976495669568976109330915064706790761162318051727157918012663276527072729263137333845374738993611480346954897482948615683564554275749579166236755669765896661780377757767771977818673877587278709883197839515982796699492066408360578076100634.2对答卷进行加(解)密处理为了显示评卷过程的公正性与合理性,
13、我们先将要进行评阅的答卷进行随机的排序处理后并标号1-P,表示成矩阵B,A为一个幻阵,C也为矩阵然后根据矩阵加(解)密算法:1)为一个幻阵,则的过程即为加密过程,其中为明文,为密文。2) ,此过程即为解密过程。加密的密钥A为幻阵:将这P份答卷进行加密处理。4.3 加密后答卷编号对应的密文在试卷进行评阅前,我们将明文即编号1100用计算机编程求出它们的相关密文,加密后1-100号试卷编号对应的密文如下表:编号密文编号密文编号密文编号密文编号密文11152677521120517754110908025611197702581119577752117818002212306800421116305
14、062122320508212212800312036825231256182543114180756312487075831246782541229185024128168504411673100641274210084127228505125468752513071875451192812565129971258512977875612801900261332690046121831506613252150861323290071305692527135819254712438175671350717587134879258133119502813836950481269320068137
15、622008813742950913566975291409197549129482256914017225891399797510138220003014347000501320325070142722509014253000111244577531110202755111714275711233302591113767751212700800321127530052119693007212588050921163180013129558253311530325531222432573128430759311886825141321085034117853505412479350741309
16、810094121418501513465875351204037555127343757513353125951239687516137209003612295400561298940076136081509612651900171397592537125504255713244425771386317597129069251814230950381280545058134994507814118200981316195019144859753913060475591375447579143732259913416975201474100040133155006014009500801462
17、8250100136720005模型的建立5.1模型的准备5.1.1随机数据的模拟 参照分数的模拟:用计算机随机生成1到P个服从正态分布,均值为m,均方差为d的正态分布,并对试卷从1到P随机编号,然后进行加密。 评委评分的模拟:在绝对分数上下波动为5的范围内随机生成8个数据,这8个数据表示8位评委对这份试卷的评分; 5.1.2评卷人员能力的测评 考虑到每位评阅人员的偏好不同,因而评阅标准有所差异,结果可能导致错误判断,出现打分的分数与实际情况相差比较大,不能合理与公正的评出最好的答卷,因个人喜好不同,看待问题角度的差异,所造成的评分偏差称为系统误差。公式为: 其中其中为第位评委的系统误差,为第
18、位评委对第份试卷打的分数,为第位评委对第份试卷打的平均分数。 为了减小因系统偏差造成的评卷策略的失真,在评委进入评分系统评阅之前,对J为评委进行评分能力的测评。随机选取已经评阅的10份试卷给各位评委试改,用计算机模拟出J位评委对这10份试卷的评分,计算出每位评委的评分偏差,评委试改的次数不计算到对竞赛试卷的批阅次数中。 同时每个评委在打分过程中,开始由于对评阅试卷的不熟,会出现偶然出错现象,随着批改试卷量的增加,偶然出错的现象会减少即偶然误差的方差在减小。并且各评委出现偶然误差的方差可以看作相等,于是可用Matlab产生一个服从正态分布的整数,作为各个评委打分的偶然误差,记为,则可以得到评卷老
19、师偶然误差与阅卷数量的关系。 图二:偶然误差的方差与阅卷数量的关系图 通过对评委的系统偏差修正后,老师对试卷的评分主要受偶然误差的影响,从图二可以看出随着老师批阅试卷量的增加,老师评分的偶然误差减小,而偶然误差服从正态分布,则偶然误差的方差减小.于是评委评分误差随着偶然误差的方差减小而减小。于是可以得到下图。 图三:评委打分偏差值与偶然误差的方差的关系5.1.3 加权平均分数的表示 考虑到评委评卷的系统误差和偶然误差对模型的影响,于是对评委对试卷打的实际分数进行修正,最后用各位评委的加权平均分作为试卷的最终分数,修正过程如下:(1) 先对一百份试卷做编号,分别记为1,2,100,然后进行加密处
20、理。(2) 然后每轮中各个老师对分得的试卷进行打分,第j位评卷人对第i份答卷打的实际分数为。(3)每个评委在打分过程中会出现系统误差和偶然误差,通过试改可以求出各个评委的系统误差,而评委出现偶然误差的方差相等,于是可用Matlab产生一个服从正态分布的整数,作为各个评委打分的偶然误差,记为; (4)由于各个老师的偏好不同,为了减小因系统误差和偶然误差造成的评卷方案的失真,对各位评委所打的实际分数进行修正,则第j位评卷人对第i份答卷打的客观分数。(5)进行打分的答卷最终分数用表示,第j位评卷人对第i份答卷打的客观分数为,表示第份答卷被打分的次数,则第i份试卷的加权平均分数为:5.1.4答卷分配的
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 快速 评卷 最优 策略

链接地址:https://www.31ppt.com/p-1708735.html