【摘要】：評(píng)分員培訓(xùn)是語(yǔ)言運(yùn)用測(cè)試評(píng)分過(guò)程中的必要環(huán)節(jié)�，F(xiàn)有研究表明培訓(xùn)有利于減少評(píng)分員偏誤,從而確保評(píng)分質(zhì)量,但比較不同培訓(xùn)方式的研究依然較少,且少有研究比較不同培訓(xùn)方式下新進(jìn)評(píng)分員的評(píng)分表現(xiàn)。本研究采用心理測(cè)量學(xué)方法,系統(tǒng)地檢驗(yàn)和比較集體學(xué)習(xí)式和獨(dú)立練習(xí)式兩種培訓(xùn)方式對(duì)國(guó)才考試新進(jìn)評(píng)分員的評(píng)分表現(xiàn)的效果。研究模擬了真實(shí)的評(píng)分員培訓(xùn)環(huán)節(jié),12名教學(xué)經(jīng)驗(yàn)豐富的高校英語(yǔ)教師作為新進(jìn)評(píng)分員參加培訓(xùn)。評(píng)分員分成兩個(gè)6人小組,分別參與由同一名培訓(xùn)員組織的集體學(xué)習(xí)式培訓(xùn)和獨(dú)立練習(xí)式培訓(xùn)。中國(guó)外語(yǔ)測(cè)評(píng)中心提供了培訓(xùn)手冊(cè),包含國(guó)才中級(jí)書(shū)面溝通任務(wù)三(撰寫(xiě)信函)樣題、分項(xiàng)評(píng)分量表和30份標(biāo)桿卷。兩種培訓(xùn)方式均使用相同的培訓(xùn)材料,包含相同的培訓(xùn)活動(dòng),即熟悉評(píng)分任務(wù)和評(píng)分標(biāo)準(zhǔn)、練習(xí)評(píng)分、比較評(píng)分、討論和反饋。兩種培訓(xùn)方式的不同之處在于,參與集體學(xué)習(xí)式培訓(xùn)的評(píng)分員在培訓(xùn)員的指導(dǎo)下進(jìn)行集體學(xué)習(xí)和討論,而參與獨(dú)立練習(xí)式培訓(xùn)過(guò)的評(píng)分員獨(dú)立學(xué)習(xí)培訓(xùn)材料,一對(duì)一地與培訓(xùn)員討論學(xué)習(xí)進(jìn)展。完成培訓(xùn)后,所有評(píng)分員繼續(xù)評(píng)閱80份考生作答,得到一組分項(xiàng)評(píng)分?jǐn)?shù)據(jù)。這80份作答事先已由一組專家評(píng)分員評(píng)閱,通過(guò)對(duì)比新進(jìn)評(píng)分員的評(píng)分與專家評(píng)分,相同記1分,不同記0分,從而得到一組評(píng)分準(zhǔn)確度數(shù)據(jù)。數(shù)據(jù)分析采用多層面Rasch測(cè)量軟件Facets,其中分項(xiàng)評(píng)分?jǐn)?shù)據(jù)基于評(píng)分員客觀性模型分析,評(píng)分準(zhǔn)確度數(shù)據(jù)基于評(píng)分員準(zhǔn)確度模型分析�；趦蓚�(gè)多層面Rasch模型的多項(xiàng)測(cè)量指標(biāo)表明,所有評(píng)分員的嚴(yán)厲度、準(zhǔn)確度、內(nèi)部一致性和評(píng)分偏差均達(dá)到了正式評(píng)分的要求。按培訓(xùn)方式來(lái)看,兩組評(píng)分員的評(píng)分表現(xiàn)沒(méi)有顯著差異。因此,兩種培訓(xùn)方式具有同等效果,12名評(píng)分員完成培訓(xùn)后可進(jìn)一步參與正式評(píng)分。研究結(jié)果強(qiáng)調(diào)了集體學(xué)習(xí)式和獨(dú)立練習(xí)式兩種培訓(xùn)方式的等效性,對(duì)新進(jìn)評(píng)分員的評(píng)分表現(xiàn)也具有同等效果。本研究發(fā)現(xiàn)對(duì)國(guó)才考試的評(píng)分員培訓(xùn)項(xiàng)目開(kāi)發(fā)和效度論證的相關(guān)研究具有一定借鑒意義。今后的研究可從認(rèn)知視角比較兩種培訓(xùn)方式對(duì)評(píng)分員的認(rèn)知和評(píng)分行為的影響,以補(bǔ)充目前基于心理測(cè)量學(xué)方法的研究發(fā)現(xiàn)。
【學(xué)位授予單位】：北京外國(guó)語(yǔ)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：H319

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 陳秋萍;;基層信訪服務(wù)滿意度的現(xiàn)狀評(píng)價(jià)及對(duì)策分析——基于RATER指標(biāo)的研究[J];法制與社會(huì);2009年36期

2 任瑞娟;高莉;;人、機(jī)評(píng)分相關(guān)性研究綜述——基于25篇西方“E-rater”文獻(xiàn)的元分析[J];內(nèi)蒙古師范大學(xué)學(xué)報(bào)(教育科學(xué)版);2018年06期

3 梁馨元;王秋波;魏春波;;基于RATER模型的高校財(cái)務(wù)服務(wù)對(duì)策研究[J];沈陽(yáng)建筑大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版);2018年05期

4 姚yN;劉養(yǎng)卉;;“互聯(lián)網(wǎng)+”時(shí)代“都市新鄉(xiāng)民”住房公共服務(wù)研究——基于Z市的RATER指數(shù)分析[J];四川理工學(xué)院學(xué)報(bào)(社會(huì)科學(xué)版);2016年06期

5 Nadia Barakat;Pallav Shah;Scott H Faro;John P Gaughan;Devon Middleton;MJ Mulcahey;Feroze B Mohamed;;Inter-and intra-rater reliability of diffusion tensor imaging parameters in the normal pediatric spinal cord[J];World Journal of Radiology;2015年09期

6 David Morgonsk?ld;Victoria Warkander;Panayiotis Savvides;Axel Wihlborg;Mathilde Bouzereau;Hans M?ller;Paul Gerdhem;;Inter-and intra-rater reliability of vertebral fracture classifications in the Swedish fracture register[J];World Journal of Orthopedics;2019年01期

7 毛世花;陳曉麗;;E-rater和句酷的對(duì)比研究及對(duì)提高大學(xué)生英語(yǔ)作文水平的啟示[J];高等函授學(xué)報(bào)(哲學(xué)社會(huì)科學(xué)版);2012年05期

8 Kavian Ghandehari;;Comments on Asian Stroke Criteria[J];Neural Regeneration Research;2009年11期

9 Michael Popplewell;John Reizes;Chris Zaslawski;Narelle Smith;;TCM DIAGNOSIS:CHOOSING THE CORRECT INTERRATER STATISTIC IS VITAL[J];Journal of Integrative Medicine;2014年03期

10 張根水;;檔案中介服務(wù)質(zhì)量評(píng)價(jià)指標(biāo)體系構(gòu)建研究——基于SERVQUAL和RATER理論模型視角[J];浙江檔案;2015年02期

相關(guān)會(huì)議論文 前5條

1 王躍;林向進(jìn);徐三中;;Quantitative Measures of Modic Changes in Lumbar Spine Magnetic Resonance Imaging[A];浙江省醫(yī)學(xué)會(huì)骨科學(xué)分會(huì)30年慶典暨2011年浙江省骨科學(xué)學(xué)術(shù)年會(huì)論文匯編[C];2011年

2 程方升;;和諧社會(huì)取向下政府服務(wù)質(zhì)量:缺口與完善——基于RATER指數(shù)五緯度的分析[A];“構(gòu)建和諧社會(huì)與深化行政管理體制改革”研討會(huì)暨中國(guó)行政管理學(xué)會(huì)2007年年會(huì)論文集[C];2007年

3 Joy C.M. Lau;Cecilia W.P.Li-Tsang;;Application of tissue ultrasound palpation system (TUPS) in objective scar evaluation[A];第八屆全國(guó)燒傷外科學(xué)年會(huì)論文匯編[C];2007年

4 Gao Qinghui;;Many-Facets Analysis of Overseas Students' Evaluation of Teaching[A];2013年教育技術(shù)與管理科學(xué)國(guó)際會(huì)議論文集[C];2013年

5 Cecilia W.P.Li-Tsang;Joy C.M.Lau;Sally K.Y.Liu;;Validation of an objective scar pigmentation measurement by using a spectrocolorimeter[A];第八屆全國(guó)燒傷外科學(xué)年會(huì)論文匯編[C];2007年

相關(guān)碩士學(xué)位論文 前10條

1 袁雪寒;集體學(xué)習(xí)式與獨(dú)立練習(xí)式評(píng)分員培訓(xùn)的有效性比較研究[D];北京外國(guó)語(yǔ)大學(xué);2019年

2 謝麗君;語(yǔ)用能力測(cè)試中評(píng)卷人效應(yīng)的研究[D];廣東外語(yǔ)外貿(mào)大學(xué);2013年

3 張潔;用多層面Rasch模型分析做事測(cè)試的分?jǐn)?shù)差異[D];浙江大學(xué);2006年

4 陳文捷;漢語(yǔ)語(yǔ)用能力測(cè)試評(píng)分員效應(yīng)的實(shí)證研究[D];廣東外語(yǔ)外貿(mào)大學(xué);2014年

5 王占芳;高考英語(yǔ)寫(xiě)作評(píng)分員偏頗性研究[D];山西大學(xué);2010年

6 燕翔宇;高考英語(yǔ)寫(xiě)作評(píng)分員培訓(xùn)效果的研究[D];山西大學(xué);2010年

7 周曼芝;寫(xiě)作評(píng)分中評(píng)分員因素的多側(cè)面Rasch模型分析[D];湖南大學(xué);2007年

8 陶育毓;基于rater指數(shù)的車險(xiǎn)業(yè)務(wù)服務(wù)質(zhì)量研究[D];貴州財(cái)經(jīng)大學(xué);2016年

9 曹琳琳;多面Rasch模型下機(jī)輔英語(yǔ)聽(tīng)說(shuō)考試人機(jī)評(píng)分差異研究[D];廣東外語(yǔ)外貿(mào)大學(xué);2015年

10 王利國(guó);以RATER指數(shù)框架分析唐山地稅系統(tǒng)納稅服務(wù)的改善[D];河北大學(xué);2010年

，

本文編號(hào)：2632497