本文關(guān)鍵詞：等級反應(yīng)多水平側(cè)面模型及其在主觀題評分中的應(yīng)用

  更多相關(guān)文章： 主觀評分 評分者效應(yīng) 評分者影響因素 等級反應(yīng)多水平側(cè)面模型

【摘要】：隨著我國教育事業(yè)的發(fā)展,國家對“素質(zhì)教育”的重視程度日益增加,主觀題在教育考試中的使用率也不斷增加,因為其可以很好地考察學(xué)生的分析、綜合、歸納以及問題解決等能力。然而,在對主觀題進行分數(shù)的評定時,由于沒有標(biāo)準(zhǔn)答案,故需要額外的評分人員對其進行評分,而在評分過程中,受各種因素的影響,評分者容易出現(xiàn)評分者效應(yīng)(rater effects),最終影響評分結(jié)果的準(zhǔn)確性,不利于測驗的發(fā)展�；诖�,研究者提出并發(fā)展了一系列的評分者效應(yīng)的檢測方法,如概化理論(Generalizability Theory, GT)、多面Rasch模型(Many-Facets Rasch Moel, MFRM),以及多水平隨機系數(shù)模型(Multilevel random coefficient model, MRCM)等。然而,這些方法依然還存在一些局限性,無法處理評分過程中遇到的所有問題。本研究擬將項目反應(yīng)模型、多水平模型和評分者模型三者相結(jié)全,提出并探討一種既可以處理繼時性的加工任務(wù),又可以考察評分者影響因素,同時還可以準(zhǔn)確地檢測出各種評分者效應(yīng)的評分者模型,該模型被命名為等級反應(yīng)多水平側(cè)面模型(Grade Response Multilevel Facets Model, GR-MLFM)。該模型屬于非線性混合效應(yīng)模型范疇,包含了三個主要部分：隨機成分(the random component)、鏈接函數(shù)(the link function)以及非線性成分(the nonlinear component)。為驗證模型的合理性,本研究在MCMC方法基礎(chǔ)上通過兩個模擬研究和一個實證研究對其進行論證。模擬研究一主要論證的是等級反應(yīng)多水平側(cè)面模型(GR-MLFM)在不包含任何預(yù)測變量(即零模型)的情況下模型的返真性。50次重復(fù)試驗的結(jié)果表明,GR-MLFM的參數(shù)估計值與真值之間的差異非常小,其在偏差值(Bias)、絕對百分比偏差(percentage bias, PB)和誤差均方根(RMSE)等3個指標(biāo)上的值均很小說明模型的擬合情況較為理想。與此同時,研究還比較了GR-MLFM和Wang和Liu(2007)等提出的廣義多水平側(cè)面模型(G-MLFM)對數(shù)據(jù)的擬合情況,結(jié)果發(fā)現(xiàn)G-MLFM所得到的大部分參數(shù)估計值與真值有較大差異,并且其估計結(jié)果在4個指標(biāo)上的值相對較大,可見,G-MLFM的估計結(jié)果較差,說明G-MLFM并不適用于繼時性加工任務(wù)情境下的評分者效應(yīng)分析,而GR-MLFM則比較適合于該任務(wù)情境,該結(jié)果論證了Tutz(1990)和Andrich (1995)兩位學(xué)者的觀點。模擬研究二論證了GR-MLFM在包含被試和評分者預(yù)測變量(即完整模型)的條件下,模型的擬合情況。實驗結(jié)果表明,除了評分者3的固定效應(yīng)值(γ30)與真值間的差異在.1以上外,其它的參數(shù)估計值與真值間的差異均在.1以內(nèi)；同時,模型的各估計值在3個指標(biāo)上的值也相對較小,除γ30外,其PB值為10.101%,達到了‘顯著性偏差’的標(biāo)準(zhǔn)(PB≥10%)�？梢�,模型可以較準(zhǔn)確且穩(wěn)定地擬合數(shù)據(jù),具有較好的適用性。研究三為實證研究,其目的在于進一步驗證模型的實際評分任務(wù)中的功效。研究通過4個主觀題考察學(xué)生的數(shù)學(xué)問題解決能力。研究還將學(xué)生的性別和評分者的責(zé)任心、情緒穩(wěn)定性、自信心、以及評分經(jīng)驗等4個變量納入到模型中,以考察評分任務(wù)中的評分者效應(yīng)。結(jié)果發(fā)現(xiàn),所有20位評分員中,只有一個評分員存在顯著的寬松效應(yīng),其他評分員的寬嚴度效應(yīng)不顯著。此外,學(xué)生的性別對學(xué)生的數(shù)學(xué)問題解決能力沒有預(yù)測作用,且不同性別學(xué)生的數(shù)學(xué)問題解決能力沒有差異。而評分者的2個預(yù)測變量則對其評分結(jié)果有顯著的預(yù)測作用,其中,責(zé)任心與評分者的嚴厲效應(yīng)成正比；自信心則與評分者的寬松效應(yīng)成正比；而情緒穩(wěn)定性和評分經(jīng)驗兩個變量的預(yù)測作用不顯著。
【學(xué)位授予單位】：浙江師范大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：B848

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 康春花;孫小堅;曾平飛;;基于等級反應(yīng)模型的多水平多側(cè)面評分者模型[J];心理科學(xué);2016年01期

2 徐建平;周瀚;李文雅;陳孚;張偉;;結(jié)構(gòu)化面試中面試官的評分及影響因素[J];心理科學(xué)進展;2014年02期

3 鐘曉玲;康春花;陳婧;;基于CTT、GT、IRT的評分者信度研究——以某屆奧運會女子跳水決賽為例[J];考試研究;2013年05期

4 王菲;任杰;張泉慧;曹文靜;;等級記分模型下幾種等值方法的比較研究[J];中國考試;2013年06期

5 劉s，

本文編號：1234386