本文關鍵詞：認知診斷評價中測驗屬性界定及診斷模型開發(fā)研究

  更多相關文章： 認知診斷評價 屬性 粒度 Q矩陣 診斷模型 補償作用

【摘要】：認知診斷評價是一種新興的測驗形式,它可以根據(jù)被試在具有診斷功能的項目上的作答推斷其潛在的知識狀態(tài)。因此,相對于傳統(tǒng)形式的測驗,認知診斷評價對被試的學習、教師的教學、教學質量的考核和教學資源的分配等能提供更多的參考信息。認知診斷評價已經引起社會的廣泛關注,我國的國家中長期教育發(fā)展規(guī)劃綱要(2010-2020)中就明確提到要“注重因材施教,關注學生不同特點和個性差異,發(fā)展每一個學生的優(yōu)勢潛能,……,改革教育質量評價和人才評價制度”,要想施行因材施教,就必須深入了解學生的不同特點和個性差異,了解學生在知識掌握上的優(yōu)勢和不足,而這正是認知診斷評價的優(yōu)勢所在。要想實行認知診斷評價,有許多關鍵的問題需要解決。本文從實際應用的角度出發(fā),主要關注其中的三個問題,圍繞核心研究對象“屬性”,為促進診斷測驗的應用和大規(guī)模實施而展開。第一個問題是項目屬性向量的定義(或稱項目屬性向量的界定),它包括兩部分內容:對已界定項目的屬性向量的驗證和對未界定項目的屬性向量的定義,通常情況下,這兩部分內容主要是通過學科專家、測量專家等根據(jù)知識或經驗共同界定;第二個問題是屬性的粒度對于認知診斷評價的影響;第三個問題是認知診斷模型的開發(fā)與使用。對于第一個問題,目前主要使用的還是主觀定義的方法,容易受到專家知識和個人經驗的影響,經常會出現(xiàn)不同專家所界定的結果不一致,多個專家之間會出現(xiàn)爭議的情況。比如,著名的“分數(shù)減法”(Tatsuoka,1983)數(shù)據(jù),直到今天,其屬性界定和Q矩陣界定仍然存在爭議。De Carlo(2011,2012)也提到,認知診斷評價中的屬性定義是一件非常困難的事情,項目屬性的界定過程容易出現(xiàn)屬性不確定或錯誤的情況;對于第二和第三個問題,也都是圍繞“屬性”而展開,共同來促進認知診斷評價的實際應用。本文中的三個問題之間是相互關聯(lián)的,第一個問題得不到很好的解決,就導致第二和第三個問題也得不到很好的解決,項目屬性向量的定義會涉及到屬性粒度的選擇,認知診斷模型的選擇需要基于測驗屬性及其關系的定義,因此就有可能會出現(xiàn)診斷模型誤用的情況。正是基于認知診斷評價中存在的這些問題的理解和認識,結合目前國內外的研究現(xiàn)狀,本文從實際應用的角度,開展了四項研究。研究一:基于統(tǒng)計量的Q矩陣估計算法的改進,它包括3個部分的內容。(1)Liu,Xu和Ying在2012年提出了基于作答數(shù)據(jù)的Q矩陣推導方法,在模擬研究下,該方法有很高的Q矩陣估計成功率,是一種客觀的推導Q矩陣的方法。由于Liu等的方法中有較多的假設,限制了該方法在實際中的使用,考慮解除部分假設,實行Q矩陣,項目參數(shù)的聯(lián)合估計;進一步,解除Liu等在方法中把被試總體分布當做已知的假設,實行Q矩陣,項目參數(shù)和被試總體分布的聯(lián)合估計。(2)第(1)個研究中,需要以一個較好的“初始Q矩陣”(即專家事先界定的Q矩陣中只包含少量的錯誤)作為基礎,但在實際的應用中,有時未必能滿足,因此,本研究基于少部分被正確界定的項目,實行Q矩陣、項目參數(shù)的在線估計;進一步,實行Q矩陣、項目參數(shù)和被試總體分布的在線估計。相對于(1),(2)的優(yōu)勢是不需要以一個較好的Q矩陣作為基礎,這在實際應用中特別適合于題庫的建設,可以通過已界定的項目對需要入庫的新項目進行界定,它能同時估計項目的參數(shù)和屬性向量,并且能保證所有項目的參數(shù)處在相同的量尺上。(3)目前大多關于認知診斷評價的研究都假定測驗的屬性個數(shù)定義正確,但是實際上,這在實際應用中也很容易出錯,比如對于著名的“分數(shù)減法數(shù)據(jù)”,研究者們就分別按8個屬性和5個屬性進行分析過。本研究考察Q矩陣缺少一個必需的屬性或多余一個額外的屬性時,Q矩陣估計算法的表現(xiàn)。無論事先界定的Q矩陣的質量是好還是壞,(1)或(2)可以很好的解決,一方面,可以對新項目的屬性進行界定,另一方面也可以對已界定的項目的屬性進行驗證。但是(1)和(2)存在的問題是算法中采用的統(tǒng)計量涉及到的計算量很大,特別是當屬性個數(shù)、項目個數(shù)較大時,算法可能無法在短時間內輸出結果。因此,研究二構建了新的Q矩陣統(tǒng)計量,使得Q矩陣的估計可以在較短的時間內完成,并且有較高的估計成功率。研究二:受項目反應理論中的項目擬合統(tǒng)計量似然比2的啟發(fā),構建了認知診斷框架下的項目屬性擬合統(tǒng)計量2,它不但可以實行Q矩陣、項目參數(shù)的聯(lián)合估計,而且可以實行Q矩陣、項目參數(shù)的在線估計。相對于研究一,基于2的Q矩陣估計方法可以在更短的時間內完成,對樣本的要求更低,并且有很高的估計成功率,另外2統(tǒng)計量的一個突出的優(yōu)點是不需要事先確定被試的屬性掌握模式分布。研究三:屬性的粒度會影響到測驗藍圖的設計,進一步會影響診斷測驗的分類準確率和分類效率。本研究主要考察屬性粒度和屬性間不同程度的相關對于被試分類的影響,研究了測驗采用較“粗”粒度的Q矩陣和較“細”粒度的Q矩陣時,對被試的模式判準率、屬性的平均判準率等的影響,為實際應用中選擇Q矩陣提供參考。研究四:由于在實際的應用中,屬性之間的關系是非常難于界定的,而目前已有的認知診斷模型大多基于屬性間的某種特定關系構建的。因此,當選用的模型與屬性間的實際關系不符時,就會出現(xiàn)模型和數(shù)據(jù)的擬合較差,降低診斷測驗的分類準確率和測驗結果提供的參考價值。本研究通過增加一個可以描述項目的屬性間關系的參數(shù),將項目屬性間的補償關系所導致的作答效應納入到模型中,使得模型有更好的適應性。新構建的模型不但可以處理項目的屬性間是非補償作用的情況,而且可以處理完全補償、部分補償?shù)那闆r。并且更重要的是,在實際應用中,不需要事先確定屬性間的關系,通過模型參數(shù)就可以了解項目屬性間的關系以及大小。相對于已有的模型,新模型在不同類型的測驗數(shù)據(jù)中,有更好的適應性。
【關鍵詞】：認知診斷評價 屬性 粒度 Q矩陣 診斷模型 補償作用
【學位授予單位】：江西師范大學
【學位級別】：博士
【學位授予年份】：2015
【分類號】：B842
【目錄】：

• 摘要3-6
• ABSTRACT6-17
• 前言17-19
• 第一部分 文獻綜述19-44
• 1.1 認知診斷評價19-27
• 1.1.1 認知診斷評價的目的21
• 1.1.2 認知模型21-24
• 1.1.3 屬性的粒度24-25
• 1.1.4 矩陣25-26
• 1.1.5 矩陣理論26-27
• 1.2 認知診斷模型27-31
• 1.2.1 DINA模型27-28
• 1.2.2 DINO模型28-29
• 1.2.3 HO-DINA模型29-30
• 1.2.4 RUM模型30-31
• 1.3 Q矩陣的估計31-44
• 1.3.1 δ方法32-33
• 1.3.2 基于統(tǒng)計量的矩陣估計33-35
• 1.3.3 方法35-37
• 1.3.3.1 基于法的修正指標36
• 1.3.3.2 法的步驟36-37
• 1.3.4 貝葉斯方法37-40
• 1.3.4.1 采用MCMC方法估計部分元素37
• 1.3.4.2 識別Q矩陣中不確定的元素37-38
• 1.3.4.3 非線性懲罰的方法38-39
• 1.3.4.4 采用MCMC方法探索Q矩陣39-40
• 1.3.5 聯(lián)合估計算法40-41
• 1.3.6 無監(jiān)督學習和有監(jiān)督學習方法41-44
• 1.3.6.1 極大似然估計方法42
• 1.3.6.2 邊際極大似然估計方法42
• 1.3.6.3 交差方法42-44
• 第二部分 問題提出與研究總體設計44-54
• 2.1 已有Q矩陣估計算法的特點44-45
• 2.2 屬性粒度對認知診斷評價影響的研究45-46
• 2.3 屬性間的補償關系及診斷模型研究46-48
• 2.4 本文欲探討的具體問題48-51
• 2.4.1 基于統(tǒng)計量的Q矩陣估計算法改進48-49
• 2.4.2 基于似然比統(tǒng)計量的矩陣估計49-50
• 2.4.3 屬性粒度和屬性關系對CDA分類的影響50-51
• 2.4.4 屬性間的補償關系及診斷模型研究51
• 2.5 本文的研究內容51-52
• 2.6 本文的研究意義52
• 2.7 本文的創(chuàng)新之處52-54
• 第三部分 實驗研究54-138
• 3.1 研究一基于統(tǒng)計量的矩陣估計算法改進54-73
• 3.1.1 研究目的54-55
• 3.1.2 研究方法55-63
• 3.1.2.1 項目屬性向量界定錯誤時的Q矩陣估計55-57
• 3.1.2.2 測驗屬性個數(shù)界定錯誤時的Q矩陣估計57-63
• 3.1.3 實驗設計63-70
• 3.1.3.1 數(shù)據(jù)模擬63-65
• 3.1.3.2 評價指標65-66
• 3.1.3.3 研究結果66-70
• 3.1.4 研究結論70-71
• 3.1.5 討論71-73
• 3.2 研究二基于似然比統(tǒng)計量的矩陣估計73-88
• 3.2.1 研究目的73
• 3.2.2 研究方法73-81
• 3.2.2.1 IRT下的模型擬合度評價方法74
• 3.2.2.2 使用統(tǒng)計量來估計項目屬性向量和矩陣74-81
• 3.2.3 實驗設計81-86
• 3.2.3.1 數(shù)據(jù)模擬81-82
• 3.2.3.2 研究結果82-86
• 3.2.4 研究結論86-87
• 3.2.5 討論87-88
• 3.3 研究三屬性粒度和屬性關系對CDA分類的影響88-114
• 3.3.1 研究目的88
• 3.3.2 研究方法88-89
• 3.3.2.1 屬性粒度及其對的影響88-89
• 3.3.2.2 評價指標89
• 3.3.3 實驗設計89-112
• 3.3.3.1 數(shù)據(jù)的模擬90-91
• 3.3.3.2 所有測驗屬性間有相近的相關91-100
• 3.3.3.3 0個屬性間相關較高，，1? 0個屬性間相關相近且較低100-112
• 3.3.4 討論112-114
• 3.4 研究四屬性間的補償關系及診斷模型研究114-138
• 3.4.1 研究目的115
• 3.4.2 研究方法115-122
• 3.4.2.1 HDINA模型及其識別115
• 3.4.2.2 HDINA模型的構建115-117
• 3.4.2.3 HDINA模型的假設117-118
• 3.4.2.4 HDINA和DINA、DINO的關系118-120
• 3.4.2.5 HDINA 模型的參數(shù)估計120-122
• 3.4.3 實驗設計122-135
• 3.4.3.1 HDINA模型的參數(shù)估計精度和分類研究122-125
• 3.4.3.2 DINA、DINO和HDINA模型交叉分類比較125-126
• 3.4.3.3 三種模型與數(shù)據(jù)的交叉擬合比較126-132
• 3.4.3.4 采用HDINA模型分析“分數(shù)減法”數(shù)據(jù)132-135
• 3.4.4 研究結論135-136
• 3.4.5 討論136-138
• 第四部分 綜合討論138-143
• 4.1 基于統(tǒng)計量的Q矩陣、項目參數(shù)和被試屬性掌握模式估計138-140
• 4.1.1 聯(lián)合估計138
• 4.1.2 在線估計138-139
• 4.1.3 屬性個數(shù)存在錯誤時的Q矩陣估計139
• 4.1.4 存在的局限性139-140
• 4.2 基于D~2統(tǒng)計量的Q矩陣、項目參數(shù)和被試屬性掌握模式估計140-141
• 4.2.1 聯(lián)合估計140
• 4.2.2 在線估計140
• 4.2.3 存在的局限性140-141
• 4.3 屬性粒度對認知診斷分類的影響141
• 4.3.1 屬性粒度與認知診斷分類141
• 4.3.2 存在的局限性141
• 4.4 屬性間的補償關系及診斷模型研究141-143
• 4.4.1 HDINA模型141-142
• 4.4.2 存在的局限性142-143
• 第五部分 綜合結論143-145
• 參考文獻145-153
• 附錄A153-158
• 附錄B158-161
• 附錄C161-164
• 附錄D164-168
• 附錄E168-172
• 致謝172-173
• 在讀期間公開發(fā)表論文（著）及科研情況173-175

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前1條

1 丁樹良;毛萌萌;汪文義;羅芬;;教育認知診斷測驗與認知模型一致性的評估[J];心理學報;2012年11期

中國博士學位論文全文數(shù)據(jù)庫 前1條

1 楊淑群;基于屬性層次結構的FCA及其在認知診斷中的應用研究[D];南京航空航天大學;2009年

本文編號：673787