基于決策森林的回歸模型方法研究及應用
發(fā)布時間:2021-03-19 15:49
回歸模型是一種通過樣本學習數據之間的復雜關系,并利用學習到的關聯(lián)關系進行預測的數學模型,已被廣泛應用于計算機視覺領域中的圖像分類、目標檢測等方向。然而,為了實現越來越好的檢測或分類效果,回歸模型的復雜度不斷增加,帶來了計算量的急劇增加以及對訓練樣本更加苛刻的需求。一方面,為了提升效果,大量的特征被引入學習模型,各個特征在學習模型中的作用卻不得而知。過多的輸入特征不僅使得運行效率降低而且增加了過擬合的風險,同時少數有效特征的作用也會被掩蓋在許多無用特征之下。另一方面,基于深度神經網絡的回歸模型的學習過程嚴重依賴于參數調節(jié),導致其在數據樣本不均衡、有效樣本較少等情況下難以應用。從這兩方面出發(fā),本文首先從計算機的角度模擬視覺注意機制,通過不同的特征選擇方法分析不同的特征和特征組合對視覺注意的影響。然后,針對小樣本圖像數據集問題,從提高特征表達學習能力、減小計算量、降低調參的依賴度入手,借鑒了決策樹的構造思想,研究了基于決策森林的級聯(lián)回歸模型,并構建了目標檢測系統(tǒng)。主要的研究內容包括:1.針對視覺顯著性預測問題,基于特征選擇方法分析了各個特征對顯著性預測的作用;跇嫿ǖ囊唤M候選特征集進行的實...
【文章來源】:浙江大學浙江省 211工程院校 985工程院校 教育部直屬院校
【文章頁數】:170 頁
【學位級別】:博士
【部分圖文】:
圖1.1視覺通路示意圖??在人類視覺系統(tǒng)中,眼睛是接收視覺信息的入口,大腦對信息進行編碼、??
經過上述分析可以明確決策樹的預測過程,即由上到下、逐級劃分的過程,??各級的非葉子節(jié)點根據其特征屬性對數據集進行劃分并得到最終的分類結果。??假設r與Z)分別代表特征集與訓練數據集,具體步驟如下:??步驟1:選擇一個劃分訓練數據集最好的特征?,并將其從特征集r中移除;??步驟2:構建樹節(jié)點并將其屬性設置為特征【,此時可以劃分多個子數據集,??并將其應用于之后的迭代過程。當子數據集達到葉子節(jié)點時決策樹不再生長,??結束數據集的劃分過程。停止生長的情況主要有如下兒種:??①數據集r內沒有特征元素;??②子數據集數目較低;??③子數據集繼續(xù)劃分得到的信息熵增益量很小。??
下面將從隨機森林的理論基礎、隨機森林模型投票過程、隨機森林的優(yōu)缺??點對隨機森林進行分析。??(1)隨機森林理論基礎??從1.2.2.小節(jié)中可知,決策森林雖然構建簡單,但存在一定的不足:??①在建立單裸決策樹模型時,訓練數據集可能會引起過擬合現象,解決這個??問題需要進行特殊處理,即進行一定的剪枝操作,但是剪枝不夠合理也會降低??決策樹的預測效果。??②特征屬性選擇過程中利用局部貪婪法,采用從特征集合內選取最佳的特??征進行節(jié)點構建,該方式可能會出現局部最優(yōu)解。??針對以上問題,在決策森林算法的基礎上,隨機森林應運而生。??
本文編號:3089822
【文章來源】:浙江大學浙江省 211工程院校 985工程院校 教育部直屬院校
【文章頁數】:170 頁
【學位級別】:博士
【部分圖文】:
圖1.1視覺通路示意圖??在人類視覺系統(tǒng)中,眼睛是接收視覺信息的入口,大腦對信息進行編碼、??
經過上述分析可以明確決策樹的預測過程,即由上到下、逐級劃分的過程,??各級的非葉子節(jié)點根據其特征屬性對數據集進行劃分并得到最終的分類結果。??假設r與Z)分別代表特征集與訓練數據集,具體步驟如下:??步驟1:選擇一個劃分訓練數據集最好的特征?,并將其從特征集r中移除;??步驟2:構建樹節(jié)點并將其屬性設置為特征【,此時可以劃分多個子數據集,??并將其應用于之后的迭代過程。當子數據集達到葉子節(jié)點時決策樹不再生長,??結束數據集的劃分過程。停止生長的情況主要有如下兒種:??①數據集r內沒有特征元素;??②子數據集數目較低;??③子數據集繼續(xù)劃分得到的信息熵增益量很小。??
下面將從隨機森林的理論基礎、隨機森林模型投票過程、隨機森林的優(yōu)缺??點對隨機森林進行分析。??(1)隨機森林理論基礎??從1.2.2.小節(jié)中可知,決策森林雖然構建簡單,但存在一定的不足:??①在建立單裸決策樹模型時,訓練數據集可能會引起過擬合現象,解決這個??問題需要進行特殊處理,即進行一定的剪枝操作,但是剪枝不夠合理也會降低??決策樹的預測效果。??②特征屬性選擇過程中利用局部貪婪法,采用從特征集合內選取最佳的特??征進行節(jié)點構建,該方式可能會出現局部最優(yōu)解。??針對以上問題,在決策森林算法的基礎上,隨機森林應運而生。??
本文編號:3089822
本文鏈接:http://sikaile.net/kejilunwen/zidonghuakongzhilunwen/3089822.html