【摘要】：群體水平的評估有兩種思路:一種是先進行個體水平的評估,然后再對個體以求平均或類似的方法間接達到對群體水平的評估。該思路要求群體內的個體完成測驗/問卷中的所有題目,以首先實現對個體的評估;另一種思路是不對個體評估,而是直接實現對群體的評估。該思路下群體內的每個個體只需隨機作答測驗/問卷中的一道(或少許)題目,從而根據群體在每道題上的作答人數及答對人數實現對群體的評估。以上兩種思路各有優(yōu)劣:第一種思路可以同時實現對個體及群體的評估;第二種思路只能實現對群體評估,但它具有第一種思路難以企及的優(yōu)點,如:減少被試作答的項目數,節(jié)省被試作答的時間,提高被試參與調查的配合度,節(jié)約人力、物力;避開對個體的評估,避免因中間環(huán)節(jié)的某個失誤,從而造成群體評估失誤的事件發(fā)生,提高群體評估的效率及效度。 目前關于英語閱讀問題解決(English reading problem solving,簡記ERPS)的群體水平的評估研究很少,研究工作主要在國外,且都在第一種思路下進行,但他們關于ERPS的認知分析研究可能并不適合我國國情。因此本文的主要目的是:一方面結合我國實際,開展群體水平的ERPS能力評估及認知診斷,為促進學生相關認知發(fā)展和知識獲取提供服務;另一方面,在第二種思路下開發(fā)出新的群體水平認知診斷模型,為群體水平的評估及診斷提供一種更為優(yōu)越的全新方法,以實現方法學上的突破。本文主要由四個研究組成,研究結果如下: 第一個研究為ERPS的認知分析。該研究從心理學角度探討影響ERPS的關鍵認知因素/認知成分,以Embretson Wetzel的文本表征--反應決策加工模型為理論基礎,分別從‘文本表征(text representation)’和‘反應決策(response decision)’兩個認知加工過程來尋找影響ERPS的項目認知特征成分,結合課程專家的分析、我國英語課程標準和測試要求共得到10個認知屬性。最后通過對2007年某省英語高考試卷閱讀理解部分的項目分析,得到7個認知屬性,其中4個屬性與‘文本表征’有關,2個屬性與‘反應決策’有關,另有1個屬性與‘文本表征’和‘反應決策’均有關,研究發(fā)現它們能解釋難度變異的79.2%,表明它們是影響ERPS的主要認知成分,同時證實它們之間的關系是無結構型的。 第二個研究為傳統(tǒng)方法下群體水平的ERPS能力評估及認知診斷。該研究在IRT框架下,采用屬性階層模型,先對個體進行能力評估和認知診斷,計算群體內個體能力的平均值和群體內個體對屬性的掌握比例(AMR),并將它們分別作為群體能力評估和認知診斷的結果。研究結果表明學校能力總體適中,沒有發(fā)現能力極端的學校,除屬性A5外,學校對其它屬性的掌握程度都較好,但仍需要加強對屬性A5即推理能力的教學與培養(yǎng)。將學校分為三類分析發(fā)現:、省重點建設中學與普通中學之間差異不顯著,但這兩類學校與省重點中學之間差異顯著。若以學校當年英語高考的總平均分數作為效標,計算傳統(tǒng)方法下群體水平評估和診斷結果與這一效標的相關系數分別為0.998(P0.001)和0.836(P0.001),表明傳統(tǒng)方法下群體評估結果具有較高的效標關聯(lián)效度。 第三個研究為群體水平評估新模型的開發(fā)。該研究結合2GPLM、RSM和AHM模型開發(fā)出了群體水平認知診斷模型—CY_GCDM模型。該模型不僅可以報告出群體的能力和認知狀態(tài),還能報告群體對屬性的掌握概率,該概率與群體對屬性的掌握比例在本質上是一致的;同時研究中還提出了四種新的群體水平認知診斷的判別分類方法(分別記為BUG(A),BUG(B),DB(A),DB(B))。蒙特卡羅模擬研究發(fā)現:CY_GCDM模型是可行的,合理的,可解釋的。模型中提出的四種新方法都要比貝葉斯判別法好,且這四種新方法都具有較高的診斷精度,它們各有優(yōu)缺點。具體地講,距離-相似度判別法中的方法A(DB(A))的判別準確率最不穩(wěn)定,而距離-相似度判別法中的方法B(DB(B)),相似判別法(BUG(A),BUG(B))相對比較穩(wěn)定,且判別準確率也較好。從模式判準率來講,當數據中允許存在的失誤概率為0.05時,DB(B)方法最優(yōu),而當失誤概率為0.1或0.15時,BUG(B)方法則最優(yōu)。將各判準率指標按權重進行綜合發(fā)現:當失誤概率為0.05時,則DB(B)方法最好,而當失誤概率為0.1或0.15時,則BUG(A)方法最好;但總體上講BUG(A)和DB(B)方法是最好的。 第四個研究為新方法下群體水平的ERPS能力評估及認知診斷。該研究在CY_GCDM模型下,采用BUG(A)判別分類方法,實現了ERPS群體水平的能力評估及認知診斷,并將結果與傳統(tǒng)方法下的結果相比較。研究發(fā)現:新方法與傳統(tǒng)方法對群體的評估結果相似,且兩方法對群體能力評估結果的相關高達0.957,絕對離差的平均值為0.2318;傳統(tǒng)方法下得到的屬性掌握比例與新方法下得到的屬性掌握概率的平均相關也有0.6939,達到了顯著水平,它們之間的絕對離差的平均值為0.157。這些都證明:在實際應用中,新方法可以得到與傳統(tǒng)方法相一致的群體評估結果,新方法是可行的、可靠的。不僅如此,新方法中報告的群體認知狀態(tài)結果與個體診斷的認知狀態(tài)結果具有較強的一致性。 上述研究結果顯示:將影響ERPS的主要認知成分歸結為本文所確定的7個認知屬性不僅是理論可行的,也是統(tǒng)計可行的;在認知分析的基礎上,兩種評估思路都實現了群體水平的能力評估及認知診斷,它們的評估結果相似,即測驗項目都具有較好的項目參數,所有測試學校的能力總體適中,它們對測驗所測量的屬性掌握程度都較好;兩種群體評估思路都是可行的,有效的,且在第二種思路下,CY_GCDM模型的認知診斷精度較高;GIRT模型的參數估計精度與IRT模型一致。 當只關注群體評估結果時,新方法較傳統(tǒng)方法而言更具有優(yōu)勢,具體而言:(1)新方法大大節(jié)省了數據收集和處理的時間、人力和物力。設測驗項目數為m,群體內每個個體作答的項目數為k ,則新方法所用的數據量僅為傳統(tǒng)方法所使用的數據量的k/m。(2)新方法采用的是矩陣抽樣設計,它適用于分析存在缺失的數據,尤其適用于態(tài)度問卷,消費心理問卷等易出現無效問卷的數據收集與處理場合,這種數據采集方法增強了問卷調查的靈活性,提高了問卷調查的效率; (3)新開發(fā)的認知診斷模型提供的診斷信息豐富,它不僅能夠報告群體的能力和認知狀態(tài),還能報告群體對屬性的掌握概率,無論是學生、家長,還是學�；蛘寄軌驈膱蟾娴男畔⒅蝎@得直觀而具體的參考信息。
【學位授予單位】：江西師范大學
【學位級別】：博士
【學位授予年份】：2010
【分類號】：G633.41

【參考文獻】

相關期刊論文 前5條

1 周婕;丁樹良;陳平;;多級評分CAT的認知診斷方法[J];江西師范大學學報(自然科學版);2007年04期

2 祝玉芳;丁樹良;;規(guī)則空間模型理論基礎的改進[J];江西師范大學學報(自然科學版);2008年01期

3 陳德枝;戴海琦;趙頂位;;規(guī)則空間方法與屬性層次方法的診斷準確性比較[J];心理科學;2009年02期

4 丁樹良;祝玉芳;林海菁;蔡艷;;Tatsuoka Q矩陣理論的修正[J];心理學報;2009年02期

5 祝玉芳;丁樹良;;基于等級反應模型的屬性層級方法[J];心理學報;2009年03期

相關博士學位論文 前1條

1 涂冬波;項目自動生成的小學兒童數學問題解決認知診斷CAT編制[D];江西師范大學;2009年

相關碩士學位論文 前2條

1 張韻;高中生中英文閱讀策略的比較研究[D];安徽師范大學;2006年

2 毛萌萌;AHM模型下的新分類方法[D];江西師范大學;2008年

，

本文編號：2600983