發(fā)布時(shí)間：2020-04-30 16:08

【摘要】：基于課程改革要求,各大測驗(yàn)越來越強(qiáng)調(diào)對學(xué)生分析和問題解決能力的探究。主觀題則正滿足了這一測驗(yàn)?zāi)康?因?yàn)檫@類題型能夠反映出被試在作答時(shí)采用的答題策略,進(jìn)而可以推測出被試所掌握的潛在知識結(jié)構(gòu)或認(rèn)知技能。主觀題作答結(jié)果的開放性使得當(dāng)前對其評分仍需依賴于專業(yè)的評分者。因此關(guān)于如何及時(shí)、有效地提高評分信度,保證測驗(yàn)的客觀性與公平性也成為了當(dāng)前心理與教育測評等領(lǐng)域的關(guān)注點(diǎn)之一。結(jié)合實(shí)際,在合理簡約的評分設(shè)計(jì)情境中,運(yùn)用統(tǒng)計(jì)和測量的方法分離引起分?jǐn)?shù)變異的來源,并檢測出變異的影響因素,這對出現(xiàn)評分者效應(yīng)的評分者給予有針對性的訓(xùn)練,進(jìn)而提升評分精確性具有十分重要的意義�？荡夯ǖ热�(2016)提出的GR-MLFM是在多面Rasch模型、多水平隨機(jī)系數(shù)模型和等級反應(yīng)模型基礎(chǔ)之上建立,兼具上述模型的特征,可用于復(fù)雜評分情境下評分者寬嚴(yán)度及相關(guān)影響因素的檢測與探討,并且研究者也已通過模擬和實(shí)證研究驗(yàn)證了該模型在交叉評分設(shè)計(jì)情境下具有良好的適用性及穩(wěn)定性,但其在嵌套和混合評分設(shè)計(jì)下的性能如何有待進(jìn)一步驗(yàn)證。因此,本研究將在交叉、嵌套和混合評分設(shè)計(jì)下驗(yàn)證GR-MLFM的適用性及穩(wěn)定性,并對三種評分設(shè)計(jì)下的結(jié)果進(jìn)行相互比較,為實(shí)踐工作在不同類型評分情境中能夠選擇適合有效地模型提供一定的理論參考。研究一和研究二均為模擬研究,分別探討了 GR-MLFM簡單模型和完整模型在完全交叉、嵌套和混合三種評分設(shè)計(jì)下的適用性和穩(wěn)定性,并對三種設(shè)計(jì)下的參數(shù)估計(jì)返真性進(jìn)行比較。其中,研究一模型中不考慮具體的預(yù)測變量的影響;研究二的模型中將被試性別和評分者自信心與責(zé)任心分別作為被試和評分者的預(yù)測變量加入到模型之中,發(fā)展成了完整模型,最后將兩個(gè)研究下各參數(shù)估計(jì)值與其真值進(jìn)行擬合比較。研究一和研究二結(jié)果表明,GR-MLFM在三種設(shè)計(jì)下均能對各參數(shù)進(jìn)行精確估計(jì),且完全交叉設(shè)計(jì)下的結(jié)果與混合設(shè)計(jì)下的結(jié)果基本一致,這兩種設(shè)計(jì)下的參數(shù)返真性均好于嵌套設(shè)計(jì)。研究三為實(shí)證研究,目的是在研究一和研究二的基礎(chǔ)上,將GR-MLFM完整模型應(yīng)用于三種評分設(shè)計(jì)類型下的實(shí)踐數(shù)據(jù)中,探討模型在實(shí)際情境中的性能。研究結(jié)果表明GR-MLFM在實(shí)踐中性能良好,能夠精確地進(jìn)行參數(shù)估計(jì)和有效地檢測出評分者效應(yīng),且以完全交叉設(shè)計(jì)為參照,混合設(shè)計(jì)下的參數(shù)估計(jì)結(jié)果與其更為一致。
【圖文】：

１．２．２嵌套設(shè)計(jì)逡逑嵌套設(shè)計(jì)（ｎｅｓｔｅｄ邋ｄｅｓｉｇｎ）是指其中一對評分者對某道題進(jìn)行評分，然后另一對完全逡逑不同的評分者對另外一道題進(jìn)行評分，例如圖１．１ｂ）中評分者１和２評了被試的第一逡逑題，評分者３和４評了被試的第二題。嵌套設(shè)計(jì)下可以有不同的組合，這種類型的評逡逑分設(shè)計(jì)就是嵌套設(shè)計(jì)的一種（黎光明，劉曉喻，譚小蘭，周夢培，張敏強(qiáng)，，２０１４）。逡逑在大多數(shù)可操作性的評估情境中，由于時(shí)間、人力以及財(cái)力的限制，評分者就會(huì)逡逑被分成多個(gè)小組對被試的表現(xiàn)進(jìn)行評定，這種嵌套評分設(shè)計(jì)，實(shí)質(zhì)上是一種不完整設(shè)逡逑計(jì)（Ｂｒｅｎｎａｎ，邋１９８３）。嵌套設(shè)計(jì)使用了一種特定的分配方式讓評分者對被試的作答反應(yīng)逡逑進(jìn)行評定，優(yōu)點(diǎn)之一就是不需要所有評分者評所有被試，從而既節(jié)約了時(shí)間和財(cái)力，逡逑也減輕了評分人員的負(fù)擔(dān)。但是相比于完全交叉設(shè)計(jì)而言，嵌套設(shè)計(jì)下所收集到的數(shù)逡逑據(jù)實(shí)質(zhì)上是具有一定缺失比率的數(shù)據(jù)

逡逑２．４．２整體研究設(shè)計(jì)逡逑整體研究設(shè)計(jì)如圖２．２所示。逡逑２．５研究意義逡逑２．５．１理論意義逡逑評分者效應(yīng)是主觀評分中系統(tǒng)誤差的重要組成部分，與其相關(guān)的研宄由來己久。逡逑從測量方法的角度來說，相比于ＣＴＴ、ＧＴ、ＩＲＴ、ＭＲＣＭ以及Ｇ－ＭＬＦＭ，本研究所逡逑采用的ＧＲ－ＭＬＦＭ體現(xiàn)了測量方法和模型的拓展與深入，它結(jié)合了多水平方法和逡逑ＧＲＭ的優(yōu)勢，不僅能夠用概率函數(shù)的形式刻畫出被試潛在特質(zhì)以及評分者寬嚴(yán)度等逡逑２７逡逑
【學(xué)位授予單位】：浙江師范大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2018
【分類號】：B842

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 黎光明;劉曉瑜;譚小蘭;周夢培;張敏強(qiáng);;考試評分缺失數(shù)據(jù)的概化理論分析[J];心理科學(xué);2014年03期

2 鐘曉玲;康春花;陳婧;;基于CTT、GT、IRT的評分者信度研究——以某屆奧運(yùn)會(huì)女子跳水決賽為例[J];考試研究;2013年05期

3 王蕾;張文靜;;PISA中國試測研究的評分者效應(yīng)分析對高考網(wǎng)上閱卷的啟示[J];統(tǒng)計(jì)與信息論壇;2012年06期

4 李斌;辛濤;張淑梅;孫佳楠;;多評分者多任務(wù)情境下評分者信度的模型擬合研究[J];湖南師范大學(xué)教育科學(xué)學(xué)報(bào);2011年06期

5 關(guān)丹丹;陳睿;張開;趙靜宇;;兩種評分量表的評分效應(yīng)比較研究[J];教育研究與實(shí)驗(yàn);2011年04期

6 康春花;姜宇;辛濤;;概化理論在人事測評中的評分者一致性研究[J];心理科學(xué);2010年06期

7 李斌;;評分者一致性自身特征結(jié)構(gòu)影響因素的驗(yàn)證性研究[J];山東師范大學(xué)學(xué)報(bào)(人文社會(huì)科學(xué)版);2010年05期

8 李斌;;影響主觀評分一致性的評分者自身特征分析[J];山西大學(xué)學(xué)報(bào)(哲學(xué)社會(huì)科學(xué)版);2010年03期

9 徐思;張敏強(qiáng);黎光明;;基于GT和多面Rasch模型的結(jié)構(gòu)化面試分析[J];心理學(xué)探新;2009年05期

10 關(guān)丹丹;;主觀題評分質(zhì)量的估計(jì)方法評述[J];中國考試(研究版);2008年10期

相關(guān)碩士學(xué)位論文 前2條

1 孫小堅(jiān);等級反應(yīng)多水平側(cè)面模型及其在主觀題評分中的應(yīng)用[D];浙江師范大學(xué);2016年

2 洪佳敏;英語寫作測試中的評分者效應(yīng)：整體評分和分項(xiàng)評分對比研究[D];上海師范大學(xué);2010年

本文編號：2645951