课程与教学评量以纸笔成就测验编制为例.ppt
課程與教學評量以紙筆成就測驗編製為例,楊志強博士國立台北教育大學教育學系教授http:/tea.ntue.edu.tw/cyang,在教室中，可以測驗(test)什麼？可以測量(measure)什麼？可以評量(assess)什麼？,知識（knowledge）理解（comprehension）應用（application）分析（analysis）綜合（synthesis）評鑑（evaluation）,認知領域（cognitive domain）,要測學生某個概念記起了沒?背熟了沒?存有對錯的標準答案。常見於紙筆測驗，如：選擇題、是非題，這些都是屬成就測驗的範疇,接受（receiving）反應（responding）評價（valuing）重組（organizing）內化（characterization by value）,情意領域（affective domain）,要測學生態度的轉變。感覺強弱問題，不是對錯問題。常見於問卷、量表,感官（perception）準備（set）模仿（imitation）自動化（mechanism）複雜反應（complex overt response）創作（origination）,動作技能領域（psychomotor）,要測學生技術熟練。常見於觀察紀錄表、觀察檢核表,如果要測生命教育課程與教學實施成效，可以測什麼？,能知道出生、成長、老化及死亡的概念認識身體發展的順序與個別差異能有互助合作的工作態度能有健全的生活態度運用協調方式解決班級自治問題在團體活動中能主動與人溝通、接納、分享,認知,情意,技能,成就測驗的意義,凡是測量由後天學習而得到某些知識或技能之程度的測驗。如：小考、段考、月考、期中考、期末考、國民中學學生基本學力測驗、大學學科能力測驗,編製步驟,步驟一：決定測驗目的,評估學習的起點行為：安置性目的偵知學習進步的情形：形成性目的診斷學習困難的原因：診斷性目的評定學習成效：總結性目的,步驟二：決定測驗目標,知識（knowledge）理解（comprehension）應用（application）分析（analysis）綜合（synthesis）評鑑（evaluation）,Bloom認知領域教育目標,人類個體最先發展的動作能力是什麼？(1)頭(2)軀幹(3)四肢及大肌肉(4)小肌肉,量化知道之例舉,幼兒能握筆塗鴉是屬於何種動作能力？(1)頭(2)軀幹(3)四肢及大肌肉(4)小肌肉,量化應用之例舉,若依人類個體動作能力的發展先後順序排序，下列何者正確？（1）轉頭、翻身、站立、握筆（2）翻身、轉頭、站立、握筆（3）轉頭、站立、翻身、握筆（4）轉頭、翻身、握筆、站立,量化推理之例舉,步驟三：列出教材大綱,人與自己人與他人人與自然人與社會人與宇宙,步驟四：建立雙向細目表,例一(題數),先決定總題數，再決定比例分配,例二(題號),步驟五：確定試題目標,步驟六：選擇紙筆測驗題型,選擇型試題/客觀測驗選擇題是非題配合題補充型試題/論文測驗填充題（亦屬客觀測驗）簡答題（亦屬客觀測驗）限制反應式問題（問答題）擴展反應式問題（申論題）,步驟七：試題品質與試題編擬,關聯性：測驗能適切地評量所期望的學習結果。平衡性：涵蓋的教材內容要符合雙向細目表預定的比率。有效性：測驗的編製、評分方式及作答時間要經濟有效。客觀性：該領域的專家應可得滿分或接近滿分。特殊性：未具備該領域知識者僅能憑猜測作答。,適當的難度：測驗的難易度要適中。良好的鑑別度：能區別高低學習成就者。信度：測驗的結果要一致性或可靠性。效度：測驗內容能真正測量到所欲測量的特質。公平性：每一位受試者都有相等的機會，來表現他真正的學習成就。,步驟八：試題修整與審查,預試前之質性分析,檢 核 項 目：專家效度內容效度表面效度,試題內容是否能達成該題欲評量之目標？試題是否能清楚的表達題意？試題用詞是否簡短清晰？試題是否只問一個問題，避免同時包含太多概念？試題是否避免包含某一族群所特別熟悉的訊息？試題的英文原文或翻譯是否正確？試題是否與學生的生活經驗相結合？試題是否避免含有暗示答案的線索？試題是否避免歧視性別或種族的字眼？,內容檢核,題幹是否保持完整，沒有中斷？題幹中的關鍵詞或否定句是否加上底線？附圖或表是否置於題幹後、選項前？在各選項中共同文字是否置於題幹內？題幹是否避免使用雙重否定？題幹是否完整敘述欲評量的主要概念？,題幹檢核,選擇正確選項是否基於受試者具備該題欲評量目標上之能力？答錯正確選項是否基於受試者不具備該題欲評量目標上之能力？選項的用詞是否與題幹一致？選項是否符合題幹問法的邏輯？選項表達方式是否保持一致？選項內容是否互為獨立？選項內容是否按邏輯順序排列？錯誤選項是否具有誘答力？是否避免以上皆非、以上皆是的選項？正確答案是否是公認的且不具爭議性的？每一題的選項數目是否一致？,選項檢核,選項號碼應與選項敘述相差半型空白。選項間次序應為垂直排列。選項間內容敘述宜為等長。選項間內容次序應為邏輯排列。,選項編輯檢核,請逐一檢查每個試題是否具有以下的問題。若為否，請重新修改試題。,各類試題例舉,評量目標：能理解重要科學名詞的意義。小文到動物園參觀，看見台灣彌猴區的標示牌上寫著Macaca cyclopis。請問其中的Macaca是(A)俗名(B)種名(C)學名(D)屬名,試題的表達方式要能切合評量目標,小文看見四種生物，其學名分別為：Arnica cordifolaDryas bipetalaDryas octopetalaKandelia cotopetala請問哪兩種的血緣關係最接近？(A)Arnica cordifola和Dryas bipetala(B)Dryas octopetala和Dryas bipetala(C)Dryas octopetala和Kandelia cotopetala(D)Kandelia cotopetala和Arnica cordifola,修正後,自立牌肉鬆半台斤350元，廣鄉牌肉鬆500公克500元，唯統牌肉鬆1磅400元，東日牌1兩50元，請問哪一種肉鬆最省錢？(A)自立牌(B)廣鄉牌(C)唯統牌(D)東日牌,試題要能清楚的表達題意,自立牌肉鬆半台斤500元，廣鄉牌肉鬆500公克500元，唯統牌肉鬆1磅400元，東日牌1兩50元，請問哪一種肉鬆最划算？(A)自立牌(B)廣鄉牌(C)唯統牌(D)東日牌,修正後,關於下列中字的說明，以下何者正確？甲：牢騷滿腹；乙：勞軍活動丙：勞苦功高；丁：身陷牢籠(A)甲、乙讀音相同，意義相同(B)甲、丁讀音相同，意義不同(C)乙、丙讀音相同，意義不同(D)丙、丁讀音相同，意義相同,試題只問一個問題，避免同時包含太多概念,牢騷滿腹 中的牢字，與下列何者中的字讀音不同？(A)身陷牢籠(B)勞軍活動(C)勞苦功高(D)結構牢固,修正後,資訊組想買伺服器與光學讀卡機。伺服器每台8萬元，光學讀卡機每台15萬元，預算只有60萬元。如果最少需要2台伺服器、1台光學讀卡機，請問可以請廠商開幾種不同的估計單？,試題宜與學生的生活經驗相結合,小強想買原子筆與作業簿。福利社中的原子筆每支8元，作業簿每本15元，他身上只有60元。如果他最少需要買兩本作業簿，一枝原子筆，請問有幾種不同的買法？,修正後,The fruit that fell on Newtons head is an(A)apple(B)banana(C)coconut(D)pineapple,題幹或選項中，應避免出現可能提供正確答案的線索,The fruit that fell on Newtons head is(A)an apple(B)a banana(C)a coconut(D)a pineapple,修正後,The teacher(A)is speaking(B)is talking to(C)speaks(D)talk to a little girl.,題幹的敘述應保持完整，避免被選項分割成兩個部份,The teacher a little girl.(A)is speaking(B)is talking to(C)speaks(D)talk to,修正後,日本的首都在(A)台北(B)北京(C)東京(D)華盛頓,選項具有誘答力,日本的首都在(A)大阪(B)京都(C)東京(D)神戶,修正後,下列何者屬於四維八德中的八德？(A)仁(B)孝(C)忠(D)以上皆是,應避免以上皆是或以上皆非的選項,下列何者屬於四維八德中的八德？(A)仁(B)勇(C)勤(D)廉,修正後,小明的5呎2吋，他的身高應該高於?(A)150cm(B)160cm(C)170cm(D)180cm,選項應相互獨立，彼此之間沒有邏輯上的關聯,小明的5呎2吋，他的身高應該最接近?(A)150cm(B)160cm(C)170cm(D)180cm,修正後,某次智力測驗結果發現，男生班的平均為125分，女生班的平均105分。請問男生班的智商比女生高出多少?(A)10(B)20(C)30(D)40,試題中應避免歧視性別或種族的字眼,某次智力測驗結果發現，甲班的平均為125分，乙班的平均105分。請問甲班的智商比乙班高出多少?(A)10(B)20(C)30(D)40,修正後,下表是最近一個月的集中市場塑膠類股與金融類股股價的敘述統計。若要比較這兩種類股的股價波動情形，可使用下列何種檢定統計量？（單位：元）,附表一律置於題幹之後，選項之前，並在標題欄內以括號註明單位,(A)t檢定(B)z檢定(C)卡方檢定(D)F檢定,子路、冉求問孔子：是不是聽到有道理的話，就應該馬上去做?孔子回答子路：要先問你爸爸或哥哥。孔子回答冉求：當然要立刻付諸行動。關於以上描述，下列何者正確？(A)孔子的教育方法是因材施教(B)孔子的教育方法是循循善誘(C)孔子的教育方法是當機立斷(D)孔子的教育方法是隨機應變,在各選項中重複出現的文字宜置於題幹內,子路、冉求問孔子：是不是聽到有道理的話，就應該馬上去做?孔子回答子路：要先問你爸爸或哥哥。孔子回答冉求：當然要立刻付諸行動。關於以上描述，可推知孔子的教育方法是？(A)因材施教(B)循循善誘(C)當機立斷(D)隨機應變,修正後,預試後之量化分析,檢 核 項 目：難度指數鑑別度指數誘答力選項特徵曲線,假設班上有30位學生。某次數學月考，計有20人答對第一題試題。則其試題難度指數為,試題難度指數,評審原則：個別試題：0.40.8。整體試題：平均0.5左右。,假設某次數學月考的第五題試題，高分組的難度指數為0.8；低分組的難度指數為0.2。則其鑑別度指數為,鑑別度指數,評審原則：0.40以上：非常優良。0.300.39：優良。0.200.29：尚可。0.19以下：劣。,選項誘答力分析,評審原則：至少有一位低分組受試者選擇任何一個不正確選項。選擇不正確選項的低分組受試者應比高分組多。,Ramsay（1991）結合高低試題鑑別指數與核平滑估算法，發展出正確選項與誘答選項均可分析的核平滑化無參數試題特徵曲線估算法（Kernel Smoothing Approaches to Nonparametric Item Characteristic Curve Estimation）。估計受試者分數排序（ranks）的函數和試題選項的選答情形之間的關係。完全根據受試者實際作答資料進行分析，無需假設任何試題模式，是一種無參數的試題反應理論。,選項特徵曲線,根據上述理論，以受試者的潛在能力為橫軸，選答率為縱軸，得一選項特徵曲線（option characteristic curve，OCC）。軟體下載處：http:/tea.ntue.edu.tw/cyang,實例說明,你覺得教室的面積大約是多少？(1)62公分(2)62公尺(3)62平方公分(4)62平方公尺,三年級,四年級,五年級,下列的大小關係，哪一個是對的？(1)130公分2公尺(2)2公里1900公尺(3)3公里3公尺303公尺(4)400公分4公尺,三年級,四年級,五年級,下列哪一個敘述不對？(1)體積大的物品一定比體積小的物品重(2)500公克比300公克重(3)公克是物品的重量(4)99公斤比100公克重,三年級,四年級,五年級,步驟九：編輯正式測驗,試題的設計是否根據雙向細目表編製？題型或提問方式是否已避免連續多題相同？同一主題的題組是否已避免有過多的子題？試題是否出現有母子效應（彼此相依、互為牽涉）？作答時間與試題難度間的比例是否合理？標準答案之分佈是否均勻？試題排列是否為由淺至深安排？題幹與選項是否安排在同一頁次？是否提供足夠的公式及查表用之資訊？,試題組合與題本檢核,步驟十：正式測驗,步驟十一：建立題庫,Comment or Feedback?,
