森林覆蓋類型的分類研究是森林資源變化監(jiān)測,森林資源合理開發(fā),森林人工修復(fù)的前提條件,因此構(gòu)建分類準(zhǔn)確的森林覆蓋類型分類模型具有相當(dāng)重要的現(xiàn)實(shí)意義。本文從模型和特征兩方面出發(fā)來提高模型的分類能力。模型上,提出了一種新型的實(shí)用性強(qiáng)的基于RF、ET、GBDT、XGBoost和LightGBM這五類樹模型的Stacking方法的森林覆蓋類型分類模型。特征上,結(jié)合特征交叉和基于隨機(jī)森林重要度的后向特征選擇法進(jìn)行特征處理。從北達(dá)科他州羅斯福國家森林實(shí)測數(shù)據(jù)的實(shí)證結(jié)果來看,ET-RF-LR模型的分類的準(zhǔn)確率達(dá)到89.2%,并且經(jīng)過特征處理之后的31種模型分類效果均優(yōu)于未經(jīng)特征處理的模型。在原始數(shù)據(jù)下最優(yōu)的模型是ET-XGBoost-LightGBM-LR,而在經(jīng)過特征處理之后最優(yōu)的模型是ET-RF-LR,因此本文分類模型能夠根據(jù)數(shù)據(jù)的不同選擇相應(yīng)的最優(yōu)模型來達(dá)到準(zhǔn)確分類的目的。綜上所述,本文提出的基于樹模型的Stacking分類模型可以為森林覆蓋類型的分類研究提供有價值的參考和思路,具有很好的理論和實(shí)踐意義。 

【文章來源】：蘭州大學(xué)甘肅省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：48 頁

【學(xué)位級別】：碩士

【部分圖文】：

決策樹模型

蘭州大學(xué)碩士學(xué)位論文基于樹模型的Stacking方法的森林覆蓋類型分類研究15圖2-2Stacking算法流程圖以5折交叉驗(yàn)證為例，在圖2-2中的Stacking算法步驟1中，首先將初始訓(xùn)練數(shù)據(jù)均勻地分成5份，使用“留一法”訓(xùn)練5個初級學(xué)習(xí)器，用這5個初級訓(xùn)練器分別去預(yù)測剩下的一份訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)，然后將5份預(yù)測的訓(xùn)練數(shù)據(jù)合并，可以得到一份新的訓(xùn)練數(shù)據(jù)，并且將將5份預(yù)測的測試數(shù)據(jù)采用均值法合并，得到一份新的測試數(shù)據(jù)。接下來可以采用同樣的方法再分別訓(xùn)練其他的模型作為初級訓(xùn)練器，得到新的訓(xùn)練和測試數(shù)據(jù)，得到不同模型的不同結(jié)果。在步驟2中，將步驟1得到的新訓(xùn)練數(shù)據(jù)集作為次級學(xué)習(xí)器的訓(xùn)練數(shù)據(jù)，步驟1得到新測試數(shù)據(jù)作為測試數(shù)據(jù)，重新訓(xùn)練次級學(xué)習(xí)器，最后得到最終的預(yù)測在測試集上的預(yù)測結(jié)果。在次級訓(xùn)練器的選擇上，次級學(xué)習(xí)器的輸入屬性表示和次級學(xué)習(xí)算法對Stacking的集成泛化性能上有很大的影響。有研究表明將輸出類別的概率作為次級學(xué)習(xí)器的輸入，多元響應(yīng)回歸函數(shù)作為次級學(xué)習(xí)器的算法效果較好。因此為了提高單個樹模型的分類效果，本文提出了基于樹模型的Stacking方法的森林覆蓋類型分類系統(tǒng)。隨機(jī)森林、梯度提升決策樹、極端決策樹、XGBoost、LightGBM這五種常見的樹模型采用Stacking方法進(jìn)行組合，由于對于分類問題而言，這五種樹模型作為初級學(xué)習(xí)器的輸出類型為不同森林覆蓋類型的概率，在次級訓(xùn)練器的選擇上，本文選擇多項(xiàng)邏輯斯蒂回歸作為次級學(xué)習(xí)器。對于是否選擇五種樹模型還是其中幾種作為初級訓(xùn)練器，需要利用實(shí)際數(shù)據(jù)進(jìn)行選擇，根據(jù)實(shí)際數(shù)據(jù)構(gòu)建基于樹模型的Stacking的森林覆蓋類型分類模型。

蘭州大學(xué)碩士學(xué)位論文基于樹模型的Stacking方法的森林覆蓋類型分類研究162.4基于RF特征重要度的后向特征選擇方法從數(shù)據(jù)挖掘的角度而言，剔除無效特征能夠有效提高模型的預(yù)測能力和泛化能力。前面簡單介紹了RF的基本原理，RF還有一個重要的特性就是在RF的構(gòu)造過程中計(jì)算特征的重要度，通過特征重要度的大小能夠有助于剔除無效特征。RF有兩種方式計(jì)算特征的重要度，分別是基于基尼指數(shù)和袋外誤差。圖2-3表示的就是基于RF特征重要度的后向特征選擇方法。首先將原始的特征輸入到隨機(jī)森林模型中，然后隨機(jī)森林計(jì)算每個特征在隨機(jī)森林中的每顆樹上貢獻(xiàn)程度，然后取平均就得到特征的重要度。接著依據(jù)特征的重要度對特征進(jìn)行排序，采用后向選擇法剔除特征，即按照特征的重要度從小到大依次剔除特征，并再次利用隨機(jī)森林在訓(xùn)練集中計(jì)算交叉驗(yàn)證得分，最后根據(jù)交叉驗(yàn)證得分的大小確定最優(yōu)的特征子集。圖2-3基于隨機(jī)森林重要度的后向特征選擇方法

【參考文獻(xiàn)】：
期刊論文
[1]基于Xgboost和LightGBM算法預(yù)測住房月租金的應(yīng)用分析[J]. 謝勇,項(xiàng)薇,季孟忠,彭俊,黃益槐.  計(jì)算機(jī)應(yīng)用與軟件. 2019(09)
[2]呈貢區(qū)近30年植被覆蓋度時空變化特征與土地利用驅(qū)動[J]. 楊旭超,張軍,李杰,勞潔英,吳志娟.  水土保持研究. 2019(04)
[3]熱帶原始森林類型分類和蓄積量遙感反演研究[J]. 陳新云,李利偉,劉承芳,王六如,丁靖.  林業(yè)資源管理. 2019(02)
[4]多分類器組合森林類型精細(xì)分類[J]. 王懷警,譚炳香,王曉慧,房秀鳳,李世明.  遙感信息. 2019(02)
[5]基于二次組合的特征工程與XGBoost模型的用戶行為預(yù)測[J]. 楊立洪,白肇強(qiáng).  科學(xué)技術(shù)與工程. 2018(14)
[6]決策樹多元分類模型預(yù)測森林植被覆蓋[J]. 遲翕幻.  電子制作. 2017(24)
[7]基于遙感影像和二類調(diào)查數(shù)據(jù)的林地類型分類方法對比研究——以廣西憑祥市為例[J]. 張乃靜,侯瑞霞,紀(jì)平.  林業(yè)資源管理. 2017(04)
[8]基于隨機(jī)森林模型的陸地衛(wèi)星-8遙感影像森林植被分類[J]. 張曉羽,李鳳日,甄貞,趙穎慧.  東北林業(yè)大學(xué)學(xué)報. 2016(06)
[9]多源數(shù)據(jù)林地類型的精細(xì)分類方法[J]. 任沖,鞠洪波,張懷清,黃建文,鄭應(yīng)選.  林業(yè)科學(xué). 2016(06)
[10]基于C5.0決策樹和時序HJ-1A/B CCD數(shù)據(jù)的神農(nóng)架林區(qū)植被分類[J]. 李夢瑩,胡勇,王征禹.  長江流域資源與環(huán)境. 2016(07)

博士論文
[1]中高分辨率遙感影像森林類型精細(xì)分類與森林資源變化監(jiān)測技術(shù)研究[D]. 任沖.中國林業(yè)科學(xué)研究院 2016

碩士論文
[1]基于LightGBM的居民出行方式選擇模型及應(yīng)用研究[D]. 范德祥.華中科技大學(xué) 2018
[2]基于多層次分割的遙感影像面向?qū)ο笊址诸怺D]. 馬浩然.北京林業(yè)大學(xué) 2014
[3]森林類型遙感分類研究[D]. 鮑晨光.東北林業(yè)大學(xué) 2010
[4]基于人工神經(jīng)網(wǎng)絡(luò)的森林植被遙感分類研究[D]. 劉濤.河北農(nóng)業(yè)大學(xué) 2009



本文編號：3093982