機(jī)器學(xué)習(xí)作為一門涉及眾多數(shù)學(xué)和計算機(jī)學(xué)科的經(jīng)典交叉學(xué)科,其理論與方法已經(jīng)被工程界和科學(xué)界廣泛應(yīng)用于復(fù)雜的工程或領(lǐng)域問題。在經(jīng)過大半個世紀(jì)的曲折發(fā)展后,以深度學(xué)習(xí)、集成學(xué)習(xí)、貝葉斯學(xué)習(xí)、支持向量機(jī)等為代表的機(jī)器學(xué)習(xí)算法的自適應(yīng)、自學(xué)習(xí)式的信息分析處理機(jī)制,在醫(yī)學(xué)、農(nóng)學(xué)、軍事學(xué),尤其是計算機(jī)視覺和自然語言處理等領(lǐng)域都獲得了突破性進(jìn)展。海洋科學(xué)方向是機(jī)器學(xué)習(xí)方法研究與應(yīng)用的一個新興方向,而物理海洋學(xué)是該方向研究的一個分支。隨著各國對海洋研究的大量投入以及海洋物理觀測工具和手段的不斷提升,海洋中越來越多的物理信息正在被我們所掌握,因此基于數(shù)據(jù)驅(qū)動型的研究方法開始廣泛流行于物理海洋學(xué)研究之中。如何有效利用觀測到的現(xiàn)有海洋物理信息去預(yù)測未觀測點的信息,是海洋科學(xué)和計算機(jī)信息處理研究人員有待解決的難題之一。本文將介紹利用層次聚類、隨機(jī)森林、變分自編碼器等機(jī)器學(xué)習(xí)方法,深入研究海洋溫度的空間分布規(guī)律,力求通過機(jī)器學(xué)習(xí)方法提高現(xiàn)有海洋水溫數(shù)據(jù)的空間分辨率,為進(jìn)一步的海洋溫躍層研究提供數(shù)據(jù)支撐。本文的主要研究內(nèi)容為:（1）針對現(xiàn)有海洋水溫模型低分辨率問題,提出了一種基于層次聚類和隨機(jī)森林的高分辨率海洋水溫... 

【文章來源】：吉林大學(xué)吉林省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：68 頁

【學(xué)位級別】：碩士

【部分圖文】：

Bagging算法流程圖[61]

第2章隨機(jī)森林和深度學(xué)習(xí)理論基礎(chǔ)11圖2.1Bagging算法流程圖[61]Boosting算法是一種用來提高弱學(xué)習(xí)器準(zhǔn)確度的算法，它通過迭代使用弱學(xué)習(xí)器的結(jié)果并將其加入到一個最終的學(xué)習(xí)器中，產(chǎn)生性能遠(yuǎn)高于弱學(xué)習(xí)器的強(qiáng)學(xué)習(xí)器。這里的弱學(xué)習(xí)器是指準(zhǔn)確度只略高于隨機(jī)猜測的學(xué)習(xí)器，強(qiáng)學(xué)習(xí)器指準(zhǔn)確度非常接近100%的的學(xué)習(xí)器。Boosting系列算法的研究意義在于實際應(yīng)用中弱學(xué)習(xí)器相較于強(qiáng)學(xué)習(xí)器而言更容易獲得。該算法除第一個弱學(xué)習(xí)器外，之后的每一個弱學(xué)習(xí)器都需要對前一個學(xué)習(xí)器中未被正確預(yù)測的樣本進(jìn)行學(xué)習(xí)，即將主分類器無法正確進(jìn)行分類的對象傳遞給輔助分類器，這能有效提高模型的準(zhǔn)確性，但同時也導(dǎo)致模型的方差增大。為了降低弱學(xué)習(xí)器之間的相關(guān)性帶來的模型方差高問題，可以采樣隨機(jī)采樣的方法進(jìn)行采樣。圖2.2展示了Boosting算法的算法流程圖。算法迭代地運(yùn)行一個弱學(xué)習(xí)器來訓(xùn)練未被上一個弱學(xué)習(xí)器正確分類的數(shù)據(jù)和原始采樣數(shù)據(jù)得到的訓(xùn)練集，然后將迭代產(chǎn)生的弱學(xué)習(xí)器按照一定的組合策略組成一個強(qiáng)學(xué)習(xí)器。圖2.2Boosting算法流程圖[61]

第2章隨機(jī)森林和深度學(xué)習(xí)理論基礎(chǔ)12Stacking也稱StackedGeneralization，它是最小化一個或多個基學(xué)習(xí)器泛化誤差的解決方案[62]。Ting等解決了Stacking在分類任務(wù)中的兩個關(guān)鍵性問題：適用于推導(dǎo)出不需要知道基學(xué)習(xí)器性能這一先驗知識的更高級模型的一般化類型；模型應(yīng)該使用什么樣的屬性類型作為輸入[63]。Sigletos等分析了投票法和Stacking方法的有效性，結(jié)果表明投票法在大多數(shù)領(lǐng)域都是有效的，Stacking在所有領(lǐng)域都被證明是有效的，甚至有時候做得比投票法更好[64]。圖2.3是Stacking算法的流程圖。該算法首先在原始訓(xùn)練集上通過一定的采樣方法得到若干個訓(xùn)練子集，然后對這若干個訓(xùn)練子集使用不同的基學(xué)習(xí)器算法進(jìn)行訓(xùn)練，這樣就得到了若干個基學(xué)習(xí)器，最后將這些基學(xué)習(xí)器的輸出用來訓(xùn)練，得到最終的輸出結(jié)果。圖2.3Stacking算法流程圖[61]2.基學(xué)習(xí)器的組合策略集成方法的有效性在很大程度上取決于基礎(chǔ)學(xué)習(xí)者的準(zhǔn)確性、多樣性和學(xué)習(xí)特征[65][66]�；鶎W(xué)習(xí)器的組合策略作為建立集成學(xué)習(xí)系統(tǒng)的最后一步，常見的方法有投票法和平均法是兩種。投票法通常包含兩種簡單投票法和一種加權(quán)投票法。簡單投票法又包括絕對多數(shù)投票法和相對多數(shù)投票。在絕對多數(shù)投票法中，若存在某一類別所獲得的票數(shù)超過基學(xué)習(xí)器數(shù)量的一半，則該類為模型的最終輸出結(jié)果，否則模型拒絕給出預(yù)測結(jié)果。在相對多數(shù)投票中，則將獲得票數(shù)最多的類別作為模型的最終預(yù)測結(jié)果，若多個類別獲得相同的票數(shù)且票數(shù)并列第一，則隨機(jī)選擇其中一個類別作為模型的預(yù)測結(jié)果。加權(quán)投票法[67]根據(jù)基學(xué)習(xí)器的誤差，為每一個基學(xué)習(xí)器的結(jié)果設(shè)定一個權(quán)重，權(quán)值的大小與基學(xué)習(xí)器的誤差成反比，則M個基學(xué)習(xí)器的加權(quán)投票法用公式可以表示為:

【參考文獻(xiàn)】：
期刊論文
[1]監(jiān)督學(xué)習(xí)中的損失函數(shù)及應(yīng)用研究[J]. 鄧建國,張素蘭,張繼福,荀亞玲,劉愛琴.  大數(shù)據(jù). 2020(01)
[2]隨機(jī)森林算法研究綜述[J]. 呂紅燕,馮倩.  河北省科學(xué)院學(xué)報. 2019(03)
[3]一種基于聚類約簡決策樹的改進(jìn)隨機(jī)森林算法[J]. 王誠,王凱.  南京郵電大學(xué)學(xué)報(自然科學(xué)版). 2019(03)
[4]聚類算法綜述[J]. 章永來,周耀鑒.  計算機(jī)應(yīng)用. 2019(07)
[5]一種非平衡數(shù)據(jù)分類的過采樣隨機(jī)森林算法[J]. 趙錦陽,盧會國,蔣娟萍,袁培培,柳學(xué)麗.  計算機(jī)應(yīng)用與軟件. 2019(04)
[6]集成學(xué)習(xí)方法:研究綜述[J]. 徐繼偉,楊云.  云南大學(xué)學(xué)報(自然科學(xué)版). 2018(06)
[7]一種處理非平衡數(shù)據(jù)集的優(yōu)化隨機(jī)森林分類方法[J]. 馬海榮,程新文.  微電子學(xué)與計算機(jī). 2018(11)
[8]激活函數(shù)在卷積神經(jīng)網(wǎng)絡(luò)中的對比研究[J]. 田娟,李英祥,李彤巖.  計算機(jī)系統(tǒng)應(yīng)用. 2018(07)
[9]深度學(xué)習(xí)相關(guān)研究綜述[J]. 張軍陽,王慧麗,郭陽,扈嘯.  計算機(jī)應(yīng)用研究. 2018(07)
[10]深度學(xué)習(xí)發(fā)展綜述[J]. 侯宇青陽,全吉成,王宏偉.  艦船電子工程. 2017(04)

博士論文
[1]隨機(jī)森林算法優(yōu)化研究[D]. 曹正鳳.首都經(jīng)濟(jì)貿(mào)易大學(xué) 2014

碩士論文
[1]菲律賓海域夏季水文特征及其水團(tuán)分析[D]. 劉超.西安電子科技大學(xué) 2019
[2]基于變分自編碼器生成模型的圖像加密[D]. 劉京京.河南師范大學(xué) 2018
[3]基于高斯混合模型的變分自動編碼器[D]. 李鵬.哈爾濱工業(yè)大學(xué) 2017
[4]隨機(jī)森林算法處理不平衡數(shù)據(jù)的改進(jìn)及其并行化[D]. 鐘龍申.廣東工業(yè)大學(xué) 2016



本文編號：3505337