申论题命题原则与评阅品质.ppt

申論題命題原則與評閱品質,李坤崇 成功大學教育研究所教授兼所長,申論題之命題原則一、目標置於測量較複雜、高層次認知的學 習結果。二、問題應為擬測量的重要學習結果。三、明確界定欲測量的行為。四、用更清晰、明確、具體的詞彙來敘述,五、詳細的敘述有關答案的範圍、方向及 評分標準。六、試題本身必須避免爭議 七、不應允許學習者選擇試題作答八、編擬後檢核試題提高品質,一、目標置於測量較複雜、高層次認知的 學習結果。,欠佳試題1：（認識台灣歷史篇 國一上）請說明台灣高山族分成哪幾族？,說明：此題僅測量受試者對高山族九族名 稱的記憶能力，改為選擇題、是非 題或填充題即可，不必命為論文題。若為申論題，可修改如下,較佳試題1：請從遷移地點、族群、社會組織等三方面來比較高山族、平埔族的差異？(答案以一頁為原則，作答時間約10分鐘，配分為12分，評分標準是正確比較一個方面得4分，錯別字一個扣半分。),二、問題應為擬測量的重要學習結果。,欠佳試題2：（健康教育 國一下）病毒性肝炎分為哪兩型？,說 明：此題考病毒性肝炎的分類，雖為 國中一年級下學期健康教育的內 容，但重點似乎不在分類，而在 比較其傳染途徑、症 狀與如何預 防，見較佳試題2之1；若欲測量 綜合能力，則可讓學習者寫一篇 文章來告知他人，見較佳試題2之2。,較佳試題2之2：請寫一篇200字以內的短文，來告訴班上同學如何預防B肝炎？(作答時間約15分鐘，配分為20分，評分的標準是觀念正確佔10分，說服力、文章流暢各佔10分，錯別字一個扣半分。),三、明確界定欲測量的行為,欠佳試題3：（八十九年公務人員高等考試三級考試第二試，教育行政科之教育心理學試題）請闡述思考與語言之間的關係。（25分）,說 明：此題請受試者闡述思考與語言 之間的關係，未能明確界定欲 測量行為。若能更清楚說明從哪 些向度來說明兩者關係，並舉出 生活實例來說明，將更佳。,較佳試題3：請從思考類型來闡述思考與語言之間的關係，請分別舉出一個日常生活的實例來說明。(答案以一至二頁為原則，配分為25分，評分標準是正確闡述一種思考類型、並正確舉出一個實例得8分，錯別字一個扣半分。),四、用更清晰、明確、具體的詞彙來敘述,欠佳試題4：(八十九年公務人員高等考試三級考試第二試教育行政科之教育哲學試題)任何科目都可藉某種方式教給任何兒童。（Any subject can be taught to any child in some form.）試加評析之？,說 明：此題要求受試者評析任何科目 都可藉某種方式教給任何兒童，似過於籠統，受試者可能不知 從哪些向度評析。,較佳試題4：請從從各家教育哲學觀點來評析任何 科目都可藉某種方式教給任何兒童。（Any subject can be taught to any child in some form.）？(答案以一至二 頁為原則，配分為25分，評分標準是 評析一 家教育哲學觀點正確約得8分，錯別字一個扣半分。),五、詳細的敘述有關答案的範圍、方向及 評分標準,欠佳試題5：（八十九年公務人員高等考試三級考試第二試教育行政科之教育心理學試題）學習者學業成績報告已逐漸轉變成多樣性的學業成就報告，試加以說明並分析其優點。（25分）,說 明：此題意思似乎要求受試者說明 學習者學業成績報告已逐漸轉變 成多樣性的學業成就報告，並 分析轉變成多樣性的學業成就 報告的優點。在答案的範圍、方向及評分標準並不明確，或可 修改如下：,較佳試題5：學習者學業成績報告已逐漸轉變成多樣性的學業成就報告，請說明轉變的背景因素、理想的多樣性學業成就報告、以及其優點。(答案以一至二頁為原則，配分為25分。評分標準是背景因素、優點佔8分、理想成就報告均佔9分。錯別字一個扣半分。),六、試題本身必須避免爭議,欠佳試題6：（八十八年公務人員高等考試三級考試 第二 試教育行政之教育心理學試題）試述教育心理學者不贊成懲罰的原因，若不得已，需使用懲罰時，最低限度應注意哪些原則？（25分）,說 明：此題一開始即提出教育心理學者 不贊成懲罰，此概念可能引發 爭議，或許並非所有教育心理學 者均不贊成懲罰。若為避免爭議，可修改如下：,較佳試題6：試述有些教育心理學者不贊成懲罰的原因，若不得已，需使用懲罰時，最低限度應注意哪些原則？(答案以一至二頁為原則，配分為25分，評分標準是正確闡述原因，並提出具體的原則，錯別字一個扣半分。),七、不應允許學習者選擇試題作答,八、編擬後檢核試題提高品質茲修改Linn&Gronlund(1995，p.230)設計的論文題檢核表，表中檢核項目包括下列九項：(一)申論題是否為最適當的試題類型？(二)試題是否可測量高層次的學習結果？(三)試題是否為擬測量的學習成果？(四)每個試題是否能明確告知期望受試者回 答的內容？(五)指導語是否告知受試者如何評分？,(六)是否告知受試者時間限制與每個問題的 重要性或配分？(七)是否所有的受試者必須回答相同的問題？(八)如需修正，試題是否仍與預期學習結果 一致？(九)試題是否擺一段時間後再檢查？,提昇申論題試卷評閱品質的原則,一、評閱前備妥一份評分要點(一)評分要點力求具體周詳：(二)擬定評分要點時應儘量降低較無關因 素影響評分客觀性：(三)使用適切的評分方法：評分者通常使用全部評分法、分解評分法、等級評分法三種方法 來評定申論題的分數。,二、評分應前後一致三、一次僅評閱一個試題四、同一時間內評完所有試卷或同一試題五、使用匿名評分,六、隱藏評閱試題外的其他試題得分七、盡可能由兩位評分者獨立評閱同一試 題取其平均八、同一試題儘量避免由兩人以上評分者 評不同受試者九、出現大量非預期答案宜審慎評分,評定不符期望的答案時，評分者必須判斷錯誤答案的原因，係導因於題目的缺失？或受試者學習能力不足或結果欠佳。,判斷原則有五：一、若係受試者的學習能力不足或結果欠 佳，則應按既定評閱準則評分。二、若因題目命題欠佳令人誤解、困惑，分數未能反映出受試者的學習成果或 能力，則建議不予評分。,三、雖然題目令人誤解，卻又必須評分，則宜整 理出受試者可能的誤解向度，再針對各種向 度編擬預期答案，最後依據上述預期答案進 行評分。四、不管對評閱題目作出何種決策，均應該同樣 的應用到所有的受試者。五、測驗分數不應該因為許多受試者答錯就自動 調分，評分者必須判斷出問題的所在，尋求 適切的解決策略。,