針對(duì)分類模型在處理基因表達(dá)小樣本高維度數(shù)據(jù)集上存在的分類準(zhǔn)確性不足、過(guò)擬合、計(jì)算復(fù)雜度大等問(wèn)題,提出一種改進(jìn)模型Two Boosting Deep Forest（TBDForest）。在多描部分采用均等式特征利用方法對(duì)原始特征進(jìn)行變換;在分類過(guò)程中考慮到模型所集成的每個(gè)森林的擬合質(zhì)量,將上層最重要的部分判別特征輸入到下一級(jí)聯(lián)層,在層間改善類分布問(wèn)題;對(duì)原級(jí)聯(lián)層采用子層級(jí)聯(lián)的結(jié)構(gòu),增加樣本訓(xùn)練機(jī)會(huì),減少訓(xùn)練開銷,避免模型對(duì)參數(shù)的依賴。通過(guò)在五種疾病基因表達(dá)小樣本數(shù)據(jù)集上的驗(yàn)證結(jié)果表明,改進(jìn)的模型增強(qiáng)分類算法在小樣本數(shù)據(jù)集的分類性能上達(dá)到了更好的分類效果。 

【文章來(lái)源】：計(jì)算機(jī)應(yīng)用與軟件. 2020,37(11)北大核心

【文章頁(yè)數(shù)】：7 頁(yè)

【部分圖文】：

深度森林模型的多粒度掃描模塊

級(jí)聯(lián)森林部分是一個(gè)通過(guò)加入新特征來(lái)對(duì)原始特征進(jìn)行擴(kuò)展的結(jié)構(gòu),由多個(gè)級(jí)聯(lián)層組成,每個(gè)級(jí)聯(lián)層包括兩個(gè)隨機(jī)森林和兩個(gè)完全隨機(jī)森林,如圖2所示。原始特征經(jīng)過(guò)每個(gè)級(jí)聯(lián)層后的輸出與原特征組合成擴(kuò)展后的特征作為下一個(gè)級(jí)聯(lián)層的輸入[6]。該模型在一級(jí)結(jié)束后做一個(gè)分類性能的測(cè)試,然后繼續(xù)生成下一級(jí),當(dāng)擴(kuò)展一個(gè)新的級(jí)聯(lián)層后,將整個(gè)模型的性能在驗(yàn)證集中進(jìn)行測(cè)試,若沒(méi)有顯著的分類性能增益,訓(xùn)練過(guò)程終止[11],級(jí)聯(lián)層數(shù)就確定了。級(jí)聯(lián)結(jié)構(gòu)增加了模型的深度而不引入額外的參數(shù),通過(guò)評(píng)估每層的性能自適應(yīng)地確定級(jí)聯(lián)層的數(shù)量,因此超參數(shù)較少,而且超參數(shù)設(shè)定具有很好的魯棒性。2 小樣本數(shù)據(jù)集分類模型的改進(jìn)

原始深度森林模型中級(jí)聯(lián)部分包含的隨機(jī)森林和完全隨機(jī)森林都是決策樹的集合,均是由隨機(jī)選擇一個(gè)特征在決策樹的各節(jié)點(diǎn)來(lái)分割,樹不斷生長(zhǎng),每個(gè)決策樹輸出一個(gè)類向量,最后隨機(jī)森林組合所有決策樹的投票結(jié)果后取平均值,得到森林整體的分類結(jié)果。本文的級(jí)聯(lián)網(wǎng)絡(luò)中各層使用兩個(gè)隨機(jī)森林和兩個(gè)完全隨機(jī)森林,兩種森林均由500個(gè)決策樹以及完全隨機(jī)決策樹構(gòu)成。每個(gè)決策樹決策過(guò)程[12]如圖3所示,假定有三個(gè)類,n個(gè)決策樹,每個(gè)決策樹將確定一個(gè)三維類向量,然后取n個(gè)三維類向量的平均值,最后得到最大值對(duì)應(yīng)的類別作為決策樹最終的分類結(jié)果。隨機(jī)森林中的子樹是在整體特征中隨機(jī)選取的部分特征,因此這些決策樹彼此不同,并且各隨機(jī)森林也有各自的多樣性。那么,選取合適的判別特征來(lái)構(gòu)建決策樹的分裂點(diǎn)非常重要。然而在原始模型的級(jí)聯(lián)層中,每個(gè)森林對(duì)最終預(yù)測(cè)結(jié)果的貢獻(xiàn)是相同的,在學(xué)習(xí)過(guò)程中未考慮各自的擬合質(zhì)量,忽略了一些重要特征,因此可能導(dǎo)致在小規(guī)模數(shù)據(jù)集中的模型整體性能對(duì)森林?jǐn)?shù)量較為敏感。本文改進(jìn)時(shí)考慮到隨機(jī)森林在作特征選擇時(shí),能夠隱含地提供分類過(guò)程中的特征相對(duì)重要性排序列表,從而新模型基于級(jí)聯(lián)森林模塊進(jìn)行如下的改進(jìn):

【參考文獻(xiàn)】：
期刊論文
[1]一種加權(quán)的深度森林算法[J]. 宮振華,王嘉寧,蘇翀.  計(jì)算機(jī)應(yīng)用與軟件. 2019(02)
[2]基于改進(jìn)深度森林算法的軟件缺陷預(yù)測(cè)[J]. 薛參觀,燕雪峰.  計(jì)算機(jī)科學(xué). 2018(08)
[3]改進(jìn)SMOTE的非平衡數(shù)據(jù)集分類算法研究[J]. 趙清華,張藝豪,馬建芬,段倩倩.  計(jì)算機(jī)工程與應(yīng)用. 2018(18)
[4]改進(jìn)SVM-KNN的不平衡數(shù)據(jù)分類[J]. 王超學(xué),張濤,馬春森.  計(jì)算機(jī)工程與應(yīng)用. 2016(04)

博士論文
[1]面向醫(yī)學(xué)數(shù)據(jù)的隨機(jī)森林特征選擇及分類方法研究[D]. 姚登舉.哈爾濱工程大學(xué) 2016

碩士論文
[1]基于Lasso-PCA及改進(jìn)自適應(yīng)遺傳神經(jīng)網(wǎng)絡(luò)的電力負(fù)荷預(yù)測(cè)研究[D]. 張航飛.燕山大學(xué) 2018
[2]隨機(jī)森林分類算法的改進(jìn)及其應(yīng)用研究[D]. 懷聽聽.中國(guó)計(jì)量大學(xué) 2016



本文編號(hào)：3213009