【摘要】：學生互評能夠有效彌補教師評閱和機器評分的局限,是適用于大規(guī)模開放在線學習情境的重要評價模式。然而,現(xiàn)階段對在線互評模式的準確性和有效性尚缺少基于實證的系統(tǒng)研究�；诖�,本文通過對一門大規(guī)模開放在線課程(MOOC)的學生互評、自評和教師評分等數(shù)據(jù)的比較,得出在線互評模式的信度、效度、影響因素和學生認可度等初步結論。研究結果表明,盡管互評模式的評分者間信度并不理想,但綜合考量多個評分結果的前提下,該模式能夠為在線學習者提供較為一致可靠的最終得分。學生互評結果和教師評分結果的相關性系數(shù)高達0.619表明,該模式同時具有較好的聚合效度。此外,對課后問卷的統(tǒng)計分析表明,在線學習者對互評模式總體持積極態(tài)度,認可互評活動對反饋獲得、課程投入和高階思維培養(yǎng)等的有益影響。這些發(fā)現(xiàn)和結論對完善和改進面向大規(guī)模開放在線學習的評價模式有一定的指導意義。
【圖文】：

萁淌ψ鄭吹鈉蘭哿抗?從四個維度對上交的地圖作品進行評分，包括展示清晰度、故事可信度、制圖水平(如顏色、符號的使用和布局等)和設計美觀度，每個維度得分從低到高為0分到3分�；ピu作業(yè)的總分為四個維度得分的總合，即在0分和12分之間。課程要求每位學生至少評價三份其他同學上交的作業(yè)。這些作業(yè)由Coursera平臺隨機分配給不同學生評分者。同時，每位學生也需對自己上交的作業(yè)進行自評。值得注意的是，Coursera平臺為了應對極值分數(shù)，選擇使用學生評分結果的中值(median)而不是平均值(mean)作為最終的互評分數(shù)。圖1互評作業(yè)的評價數(shù)據(jù)類別(二)數(shù)據(jù)收集本研究共收集了三類數(shù)據(jù)。第一類數(shù)據(jù)是MOOC學生針對開放性作業(yè)的互評和自評數(shù)據(jù)。該數(shù)據(jù)儲存在Coursera平臺后臺數(shù)據(jù)庫的submission_metadata部分:作業(yè)編號和最終互評分數(shù)存儲在o-verall_evaluation_metadata中，單個學生評分者的評分結果儲存在evaluation_metadata中，學生的自評分數(shù)存儲在self_grading_metadata中。Coursera平臺設置最多的評分者人數(shù)是5人。本研究中共1825份作業(yè)獲得了5位評分者的評分，從而被選中進行后續(xù)的信效度分析。缺失評分數(shù)據(jù)的作業(yè)共有919份，這些作業(yè)被排除在數(shù)據(jù)分析之外。關于作業(yè)的最終互評分數(shù)，除了使用Coursera平臺提供的基于中值的判定，本研究同時將各個學生評分的平均值作為最終結果。第二類數(shù)據(jù)是教師對開放性作業(yè)的評分數(shù)據(jù)�？紤]到教師評分工作量，本研究從1825份作業(yè)中隨機選擇了5%(N=93)并請課程主講教師進行批改。通過作業(yè)的編號，教師可以在后臺數(shù)據(jù)庫中訪問學生提交的作業(yè)原件，并按照相同的評價量規(guī)進行評分，包括作業(yè)的總分和四項標準的得分。因此，每份作業(yè)包含以下評價數(shù)據(jù):5位學生評分者的評分結果、基于中值的最

萁淌ψ鄭吹鈉蘭哿抗?從四個維度對上交的地圖作品進行評分，包括展示清晰度、故事可信度、制圖水平(如顏色、符號的使用和布局等)和設計美觀度，每個維度得分從低到高為0分到3分�；ピu作業(yè)的總分為四個維度得分的總合，即在0分和12分之間。課程要求每位學生至少評價三份其他同學上交的作業(yè)。這些作業(yè)由Coursera平臺隨機分配給不同學生評分者。同時，每位學生也需對自己上交的作業(yè)進行自評。值得注意的是，Coursera平臺為了應對極值分數(shù)，選擇使用學生評分結果的中值(median)而不是平均值(mean)作為最終的互評分數(shù)。圖1互評作業(yè)的評價數(shù)據(jù)類別(二)數(shù)據(jù)收集本研究共收集了三類數(shù)據(jù)。第一類數(shù)據(jù)是MOOC學生針對開放性作業(yè)的互評和自評數(shù)據(jù)。該數(shù)據(jù)儲存在Coursera平臺后臺數(shù)據(jù)庫的submission_metadata部分:作業(yè)編號和最終互評分數(shù)存儲在o-verall_evaluation_metadata中，單個學生評分者的評分結果儲存在evaluation_metadata中，學生的自評分數(shù)存儲在self_grading_metadata中。Coursera平臺設置最多的評分者人數(shù)是5人。本研究中共1825份作業(yè)獲得了5位評分者的評分，從而被選中進行后續(xù)的信效度分析。缺失評分數(shù)據(jù)的作業(yè)共有919份，這些作業(yè)被排除在數(shù)據(jù)分析之外。關于作業(yè)的最終互評分數(shù)，除了使用Coursera平臺提供的基于中值的判定，本研究同時將各個學生評分的平均值作為最終結果。第二類數(shù)據(jù)是教師對開放性作業(yè)的評分數(shù)據(jù)�？紤]到教師評分工作量，本研究從1825份作業(yè)中隨機選擇了5%(N=93)并請課程主講教師進行批改。通過作業(yè)的編號，教師可以在后臺數(shù)據(jù)庫中訪問學生提交的作業(yè)原件，并按照相同的評價量規(guī)進行評分，包括作業(yè)的總分和四項標準的得分。因此，，每份作業(yè)包含以下評價數(shù)據(jù):5位學生評分者的評分結果、基于中值的最
【作者單位】： 華中師范大學教育信息技術學院;賓夕法尼亞州立大學地理系;
【基金】：2016年度教育部人文社會科學青年基金項目“面向大規(guī)模在線教育的眾包評測模型研究”(16YJC880054)
【分類號】：G434

【相似文獻】

相關期刊論文 前9條

1 張勇;;口語評估中母語和非母語評分者的評分偏差研究[J];韶關學院學報;2009年02期

2 李中權;孫曉敏;張厚粲;張立松;;多面Rasch模型在主觀題評分培訓中的應用[J];中國考試(研究版);2008年01期

3 康春花;辛濤;;基于IRT的評分者效應模型及其應用展望[J];中國考試;2010年08期

4 王蕾;張文靜;;PISA中國試測研究的評分者效應分析對高考網(wǎng)上閱卷的啟示[J];統(tǒng)計與信息論壇;2012年06期

5 楊睿;;采用多面Rasch模型提高英語運用測試的評分質量[J];開放教育研究;2011年05期

6 朱益明;;建立書法品質量表的探討[J];上海教育科研;1990年06期

7 姜渭清;;GRE筆試簡介[J];英語知識;2003年01期

8 劉凱;;中學英語測試中的語言測試偏差[J];文理導航(中旬);2011年04期

9 ;[J];;年期

相關會議論文 前2條

1 李中權;孫曉敏;張厚粲;張立松;;多面Rasch模型在主觀題評分培訓中的應用[A];第十一屆全國心理學學術會議論文摘要集[C];2007年

2 王博;王麗娜;劉燕偉;丁玎;劉遠我;;主觀評分中分數(shù)趨中現(xiàn)象的形成及控制[A];增強心理學服務社會的意識和功能——中國心理學會成立90周年紀念大會暨第十四屆全國心理學學術會議論文摘要集[C];2011年

相關重要報紙文章 前2條

1 常文明;“老百姓是創(chuàng)建工作的評分者”[N];長春日報;2005年

2 李茂 編譯;美國“高考”的應試代價[N];中國教師報;2006年

相關碩士學位論文 前3條

1 洪佳敏;英語寫作測試中的評分者效應：整體評分和分項評分對比研究[D];上海師范大學;2010年

2 陳晶;英語寫作測試中的評分者效應[D];上海外國語大學;2012年

3 賀滿足;多層面分析評估中國學生英語作文中評分者的偏頗性[D];廣東外語外貿大學;2006年

本文編號：2530056