尋找“最佳證據(jù)”:如何運用元分析進(jìn)行文獻(xiàn)綜述——以STEM教育對學(xué)生成績的影響研究為例
發(fā)布時間:2021-07-13 15:06
元分析相對于傳統(tǒng)的主觀性文獻(xiàn)綜述方法而言,能夠更加有效、客觀和規(guī)范地從既有實證研究文獻(xiàn)中梳理出一般性、規(guī)律性的結(jié)論,因此成為教育循證改革過程中尋找"最佳證據(jù)"的重要方法。與國外相比,我國運用元分析方法進(jìn)行實證文獻(xiàn)綜述的研究還比較少。針對于此,本研究以STEM教育對學(xué)生學(xué)業(yè)成績的影響為例,展示了運用元分析方法進(jìn)行實證研究綜述的過程。研究發(fā)現(xiàn)STEM教育有利于提高學(xué)生的學(xué)業(yè)成績(d=0.410),STEM教育方法、受教育階段、地區(qū)和樣本量等因素均會顯著影響到STEM教育的效果。這樣的研究,不僅提供了關(guān)于STEM教育效果的一般性證據(jù),而且在方法層面探討了如何通過文獻(xiàn)綜述獲得可靠證據(jù)以支持教育改革。
【文章來源】:華東師范大學(xué)學(xué)報(教育科學(xué)版). 2020,38(06)北大核心CSSCI
【文章頁數(shù)】:16 頁
【部分圖文】:
文獻(xiàn)檢索與篩選流程
一般而言,發(fā)表偏倚是指統(tǒng)計結(jié)果為正向顯著的研究成果,更容易被期刊所接受并發(fā)表的一種現(xiàn)象。如果存在發(fā)表偏倚,元分析的結(jié)果可能會面臨放大干預(yù)措施真實效果的風(fēng)險(Rothstein et al.,2005,p.2-3)。發(fā)表偏倚是影響研究結(jié)果可靠性的一個重要因素,因此對其進(jìn)行檢驗是元分析不可或缺的重要一環(huán)。常用的檢驗方法是漏斗圖,通過觀察漏斗圖是否對稱來判斷發(fā)表偏倚存在與否;若無法直觀判斷出漏斗圖是否對稱,則可通過Egger檢驗來確定。本研究的漏斗圖如圖2所示,該圖明顯不對稱,Egger檢驗的結(jié)果也顯著(B0=3.289,t=2.714,p1=0.007,p2=0.014),這表明本研究存在發(fā)表偏倚。發(fā)表偏倚作為一種不可控的因素,元分析的研究者很難完全避免這一問題。若存在發(fā)表偏倚,則需要對發(fā)表偏倚進(jìn)行修正并測算所缺失的研究文獻(xiàn)對元分析結(jié)果的影響,同時還要更為謹(jǐn)慎地討論研究的結(jié)果,以確保分析結(jié)果足夠穩(wěn)健。但需要指出的是,是否存在發(fā)表偏倚并不能作為評價元分析質(zhì)量的唯一標(biāo)準(zhǔn)。事實上,無論是元分析還是傳統(tǒng)的文獻(xiàn)綜述,都可能存在因發(fā)表偏倚而導(dǎo)致的“有偏估計”問題。相比于傳統(tǒng)文獻(xiàn)綜述,元分析的研究者們已經(jīng)發(fā)展出了一系列檢驗、修正發(fā)表偏倚的技術(shù),以最大限度地保證分析結(jié)果的穩(wěn)健性。修正與測算發(fā)表偏倚影響的常用方法是剪補法(trim and fill),其主要步驟是:首先,剪除(trim)引起漏斗圖不對稱的研究,并重新計算合并效應(yīng)量(中心值);其次,將去除的研究沿新的中心對稱地填補(fill)到對稱軸的另一側(cè);最后,計算合并效應(yīng)量及其標(biāo)準(zhǔn)差,并不斷疊代以上過程直至結(jié)果穩(wěn)定(Duval&Tweedie,2000;Rothstein et al.,2005,p.127-144)。Bediou等人(2018)近期發(fā)表在心理學(xué)權(quán)威期刊《Psychology Bulletin》上的研究,便是利用這一方法修正了發(fā)表偏倚對研究結(jié)果的影響。參考以上研究,我們同樣運用剪補法,對本文的效應(yīng)量進(jìn)行修正。修正后的合并效應(yīng)量為0.410,95%置信區(qū)間為(0.185,0.636),說明發(fā)表偏倚的存在或?qū)е滦?yīng)量放大了41.43%。那么,這樣一個經(jīng)過修正的效應(yīng)量是否可靠呢?為解決這個問題,我們還需要對結(jié)果進(jìn)行敏感性檢驗,以評估元分析結(jié)果對發(fā)表偏倚的反應(yīng)程度。
所謂“最佳證據(jù)”應(yīng)當(dāng)是更具代表性和全面性的證據(jù),其來源應(yīng)當(dāng)盡可能地廣泛,不遺漏任何有價值的研究。為此,本研究以“STEM education”、“integrated STEM education”、“student achievement”等關(guān)鍵詞在教育數(shù)據(jù)庫以及搜索引擎(e.g.,ERIC,EBSCO,Springer,Google Scholar)中進(jìn)行檢索。根據(jù)已制定的納入標(biāo)準(zhǔn),先是對文獻(xiàn)標(biāo)題進(jìn)行篩選,排除明顯不符合標(biāo)準(zhǔn)的研究,并將可能符合標(biāo)準(zhǔn)的文獻(xiàn)下載存檔;然后閱讀文獻(xiàn)摘要,進(jìn)一步排除不符合要求的研究;最后對剩余的文獻(xiàn)進(jìn)行全文閱讀,篩選出完全符合標(biāo)準(zhǔn)的文獻(xiàn)。本研究共檢索了28683篇文獻(xiàn),最終納入17篇,獲得20個效應(yīng)量。文獻(xiàn)檢索與篩選流程如圖1所示。(三)文獻(xiàn)編碼
【參考文獻(xiàn)】:
期刊論文
[1]“文獻(xiàn)法”是研究方法嗎——兼談研究整合法[J]. 姚計海. 國家教育行政學(xué)院學(xué)報. 2017(07)
[2]文獻(xiàn)綜述與教育學(xué)博士學(xué)位論文撰寫[J]. 張斌賢,李曙光. 學(xué)位與研究生教育. 2015(01)
[3]效應(yīng)量:估計、報告和解釋[J]. 盧謝峰,唐源鴻,曾凡梅. 心理學(xué)探新. 2011(03)
本文編號:3282288
【文章來源】:華東師范大學(xué)學(xué)報(教育科學(xué)版). 2020,38(06)北大核心CSSCI
【文章頁數(shù)】:16 頁
【部分圖文】:
文獻(xiàn)檢索與篩選流程
一般而言,發(fā)表偏倚是指統(tǒng)計結(jié)果為正向顯著的研究成果,更容易被期刊所接受并發(fā)表的一種現(xiàn)象。如果存在發(fā)表偏倚,元分析的結(jié)果可能會面臨放大干預(yù)措施真實效果的風(fēng)險(Rothstein et al.,2005,p.2-3)。發(fā)表偏倚是影響研究結(jié)果可靠性的一個重要因素,因此對其進(jìn)行檢驗是元分析不可或缺的重要一環(huán)。常用的檢驗方法是漏斗圖,通過觀察漏斗圖是否對稱來判斷發(fā)表偏倚存在與否;若無法直觀判斷出漏斗圖是否對稱,則可通過Egger檢驗來確定。本研究的漏斗圖如圖2所示,該圖明顯不對稱,Egger檢驗的結(jié)果也顯著(B0=3.289,t=2.714,p1=0.007,p2=0.014),這表明本研究存在發(fā)表偏倚。發(fā)表偏倚作為一種不可控的因素,元分析的研究者很難完全避免這一問題。若存在發(fā)表偏倚,則需要對發(fā)表偏倚進(jìn)行修正并測算所缺失的研究文獻(xiàn)對元分析結(jié)果的影響,同時還要更為謹(jǐn)慎地討論研究的結(jié)果,以確保分析結(jié)果足夠穩(wěn)健。但需要指出的是,是否存在發(fā)表偏倚并不能作為評價元分析質(zhì)量的唯一標(biāo)準(zhǔn)。事實上,無論是元分析還是傳統(tǒng)的文獻(xiàn)綜述,都可能存在因發(fā)表偏倚而導(dǎo)致的“有偏估計”問題。相比于傳統(tǒng)文獻(xiàn)綜述,元分析的研究者們已經(jīng)發(fā)展出了一系列檢驗、修正發(fā)表偏倚的技術(shù),以最大限度地保證分析結(jié)果的穩(wěn)健性。修正與測算發(fā)表偏倚影響的常用方法是剪補法(trim and fill),其主要步驟是:首先,剪除(trim)引起漏斗圖不對稱的研究,并重新計算合并效應(yīng)量(中心值);其次,將去除的研究沿新的中心對稱地填補(fill)到對稱軸的另一側(cè);最后,計算合并效應(yīng)量及其標(biāo)準(zhǔn)差,并不斷疊代以上過程直至結(jié)果穩(wěn)定(Duval&Tweedie,2000;Rothstein et al.,2005,p.127-144)。Bediou等人(2018)近期發(fā)表在心理學(xué)權(quán)威期刊《Psychology Bulletin》上的研究,便是利用這一方法修正了發(fā)表偏倚對研究結(jié)果的影響。參考以上研究,我們同樣運用剪補法,對本文的效應(yīng)量進(jìn)行修正。修正后的合并效應(yīng)量為0.410,95%置信區(qū)間為(0.185,0.636),說明發(fā)表偏倚的存在或?qū)е滦?yīng)量放大了41.43%。那么,這樣一個經(jīng)過修正的效應(yīng)量是否可靠呢?為解決這個問題,我們還需要對結(jié)果進(jìn)行敏感性檢驗,以評估元分析結(jié)果對發(fā)表偏倚的反應(yīng)程度。
所謂“最佳證據(jù)”應(yīng)當(dāng)是更具代表性和全面性的證據(jù),其來源應(yīng)當(dāng)盡可能地廣泛,不遺漏任何有價值的研究。為此,本研究以“STEM education”、“integrated STEM education”、“student achievement”等關(guān)鍵詞在教育數(shù)據(jù)庫以及搜索引擎(e.g.,ERIC,EBSCO,Springer,Google Scholar)中進(jìn)行檢索。根據(jù)已制定的納入標(biāo)準(zhǔn),先是對文獻(xiàn)標(biāo)題進(jìn)行篩選,排除明顯不符合標(biāo)準(zhǔn)的研究,并將可能符合標(biāo)準(zhǔn)的文獻(xiàn)下載存檔;然后閱讀文獻(xiàn)摘要,進(jìn)一步排除不符合要求的研究;最后對剩余的文獻(xiàn)進(jìn)行全文閱讀,篩選出完全符合標(biāo)準(zhǔn)的文獻(xiàn)。本研究共檢索了28683篇文獻(xiàn),最終納入17篇,獲得20個效應(yīng)量。文獻(xiàn)檢索與篩選流程如圖1所示。(三)文獻(xiàn)編碼
【參考文獻(xiàn)】:
期刊論文
[1]“文獻(xiàn)法”是研究方法嗎——兼談研究整合法[J]. 姚計海. 國家教育行政學(xué)院學(xué)報. 2017(07)
[2]文獻(xiàn)綜述與教育學(xué)博士學(xué)位論文撰寫[J]. 張斌賢,李曙光. 學(xué)位與研究生教育. 2015(01)
[3]效應(yīng)量:估計、報告和解釋[J]. 盧謝峰,唐源鴻,曾凡梅. 心理學(xué)探新. 2011(03)
本文編號:3282288
本文鏈接:http://sikaile.net/jiaoyulunwen/xuexiaoguanli/3282288.html
最近更新
教材專著