本文關(guān)鍵詞：機器學(xué)習(xí)中的權(quán)重學(xué)習(xí)與差分演化，，由筆耕文化傳播整理發(fā)布。

【摘要】：機器學(xué)習(xí)是人工智能的核心研究問題,是計算機獲得智能的根本途徑。自從20世紀(jì)50年代人工智能學(xué)科建立以來,人們已經(jīng)提出了大量的機器學(xué)習(xí)算法,如決策樹、神經(jīng)網(wǎng)絡(luò)、支持向量機、K均值聚類及KNN算法等。而實際問題中的真實數(shù)據(jù)往往具有以下的一個或幾個特點:含噪音的、具有缺失數(shù)據(jù)、數(shù)據(jù)類別分布不平衡、特征重要程度不同、大數(shù)據(jù)以及數(shù)據(jù)含有不確定性等,特別是當(dāng)前隨著計算機技術(shù)及通訊網(wǎng)絡(luò)的迅猛發(fā)展,這些問題變得更加突出。為了處理這些不完美的數(shù)據(jù),人們提出了許多改進的算法,比如可以集成多個學(xué)習(xí)器的集成學(xué)習(xí)系統(tǒng),能夠處理模糊數(shù)據(jù)的模糊系統(tǒng),引入權(quán)重的加權(quán)學(xué)習(xí)算法,基于高性能進化計算技術(shù)的學(xué)習(xí)算法等。其中加權(quán)技術(shù)和模糊系統(tǒng)是經(jīng)常使用的兩種技巧,在這兩個課題上仍然存在著一些問題值得我們進一步研究,如在學(xué)習(xí)系統(tǒng)中如何獲取“良好”的權(quán)重以提高加權(quán)學(xué)習(xí)算法的性能?模糊分類器的性能與其模糊輸出向量之間有沒有關(guān)系?本文在選定的幾個學(xué)習(xí)模型上深入研究了權(quán)重的優(yōu)化模型及模糊分類器的模糊度與其性能的關(guān)系,并將改進的差分演化技術(shù)引入到權(quán)重的學(xué)習(xí)問題中。具體工作主要包括:首先,提出了基于多進化策略的混合差分演化算法,并將之用于求解加權(quán)模糊聚類中的權(quán)重;其次,針對更復(fù)雜的極速學(xué)習(xí)機(Extreme learning machine,ELM)中的網(wǎng)絡(luò)結(jié)構(gòu)及隨機參數(shù)優(yōu)化問題,我們將進化策略及參數(shù)自適應(yīng)技術(shù)引入前述差分演化算法,提出了一個基于自適應(yīng)差分演化的2階段進化ELM算法;隨后,在加權(quán)模糊規(guī)則推理系統(tǒng)中,我們研究了加權(quán)模糊規(guī)則中的權(quán)重與推理系統(tǒng)的泛化能力之間的關(guān)系,隨后提出了一種基于最大模糊熵的權(quán)重精煉方案;最后,在集成學(xué)習(xí)系統(tǒng)中,我們分析了模糊基分類器輸出向量的模糊性與集成系統(tǒng)泛化能力的關(guān)系,并通過實驗及理論給出了幾個有意義的結(jié)論,同時對集成學(xué)習(xí)中基分類器的學(xué)習(xí)提出了一些實用的建議�；谝陨瞎ぷ�,本論文主要貢獻可總結(jié)為如下幾個方面:(1)提出了一種包含多種進化策略的混合差分演化算法并將之用于學(xué)習(xí)基于相似度的加權(quán)模糊聚類中的特征權(quán)重。提出的差分演化算法相對于已有算法,其即使用適于全局搜索的策略,也使用適于局部搜索的策略,從而增強了搜索能力,同時算法也沒有增加過多額外的計算。(2)提出一種自適應(yīng)多進化策略混合差分演化算法,該算法通過依次選用多種進化策略以提高搜索能力,同時其可實現(xiàn)進化策略及控制參數(shù)的自適應(yīng)。進一步基于該算法提出了一種ELM網(wǎng)絡(luò)的2階段訓(xùn)練方案。該方案分兩個階段分別對ELM的網(wǎng)絡(luò)隱單元個數(shù)及隱單元參數(shù)進行優(yōu)化,即實現(xiàn)了網(wǎng)絡(luò)結(jié)構(gòu)及隨機參數(shù)的自動獲取及優(yōu)化,又避免了傳統(tǒng)trial-and-error方法的高耗時性以及已有其它進化ELM同時優(yōu)化隱單元數(shù)及隨機參數(shù)時解空間的超高維、多峰值及冗余性,從而可以自動以較小的網(wǎng)絡(luò)結(jié)構(gòu)獲得與基本ELM相當(dāng)甚至更好的測試性能。(3)針對加權(quán)模糊推理系統(tǒng),提出了一種基于模糊最大熵原則的權(quán)重優(yōu)化模型。該模型與傳統(tǒng)大多數(shù)方法最小化訓(xùn)練精度或驗證精度不同,其將加權(quán)模糊規(guī)則中的權(quán)重等參數(shù)看成變量,然后對于初始獲取的一組模糊規(guī)則(權(quán)重都為1),在模糊規(guī)則滿足所有已知約束(一般為訓(xùn)練樣本的類別分對)的前提下,通過最小化模糊規(guī)則推理系統(tǒng)在訓(xùn)練集上的輸出模糊熵來學(xué)習(xí)規(guī)則中的權(quán)重等參數(shù)的值。我們的數(shù)值仿真試驗也驗證了該方法可以很好地避免過擬合問題,從而得到滿意的分類器。(4)針對基于一般模糊分類器(或輸出為樣本屬于各個類別隸屬度的多類分類器)的集成學(xué)習(xí)系統(tǒng),我們首次研究了模糊基分類器的輸出不確定性(如模糊性、不可指定性等)與集成分類器的測試精度之間的關(guān)系。并得到了幾個有意義的結(jié)論,如:a)對于帶有復(fù)雜邊界的分類問題,模糊性大的樣本比模糊性小的樣本更容易被錯分;b)距離邊界近的樣本集與具有較高模糊性的樣本集一致,但是難于得到兩者之間的映射,該映射基于邊界樣本的定義;c)若訓(xùn)練準(zhǔn)確率可以被接受,帶有較高模糊性的分類器對復(fù)雜邊界問題具有較好的泛化能力能,并對該結(jié)論進行了實驗驗證。
【關(guān)鍵詞】：差分演化 機器學(xué)習(xí) 權(quán)重學(xué)習(xí) 極速學(xué)習(xí)機 集成學(xué)習(xí) 泛化能力 加權(quán)模糊規(guī)則系統(tǒng)
【學(xué)位授予單位】：華南理工大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2015
【分類號】：TP181
【目錄】：

• 摘要5-7
• Abstract7-17
• 主要符號表17-19
• 第一章 緒論19-22
• 1.1 研究意義19-20
• 1.2 論文的主要貢獻20-21
• 1.3 論文結(jié)構(gòu)21-22
• 第二章 機器學(xué)習(xí)理論與算法文獻綜述22-31
• 2.1 機器學(xué)習(xí)理論22-23
• 2.1.1 統(tǒng)計機器學(xué)習(xí)與泛化誤差理論分析22-23
• 2.1.2 機器學(xué)習(xí)中的優(yōu)化理論研究23
• 2.2 特征加權(quán)與特征選擇23-25
• 2.3 分類學(xué)習(xí)算法25-27
• 2.3.1 決策樹學(xué)習(xí)算法25
• 2.3.2 神經(jīng)網(wǎng)絡(luò)分類算法25-26
• 2.3.3 最近鄰分類算法26-27
• 2.3.4 多模型集成學(xué)習(xí)27
• 2.4 聚類算法27
• 2.5 差分演化算法27-31
• 2.5.1 DE的性能與其控制參數(shù)的關(guān)系28
• 2.5.2 變異與交叉操作的改進28-31
• 第三章 基于改進差分演化的加權(quán)模糊聚類31-53
• 3.1 引言31
• 3.2 相關(guān)工作介紹31-32
• 3.3 基于相似性的加權(quán)模糊聚類及其特征權(quán)學(xué)習(xí)問題32-34
• 3.3.1 基于相似性的加權(quán)模糊聚類32-33
• 3.3.2 基于相似性的加權(quán)模糊聚類中的特征權(quán)學(xué)習(xí)問題33-34
• 3.4 基于改進差分演化的加權(quán)模糊聚類34-42
• 3.4.1 差分演化與動態(tài)差分演化34-37
• 3.4.2 基于多差分進化策略協(xié)同演化的混合差分演化算法37-40
• 3.4.3 基于MEHDE的加權(quán)模糊聚類特征權(quán)學(xué)習(xí)模型40-42
• 3.5 實驗及分析42-51
• 3.5.1 實驗說明42-43
• 3.5.2 基于模糊C均值聚類的比較43-46
• 3.5.3 基于相似矩陣傳遞閉包聚類的實驗比較46-51
• 3.5.4 基于GD、DE、DDE及MEHDE的優(yōu)化技術(shù)效率分析51
• 3.6 本章小結(jié)51-53
• 第四章 基于自適應(yīng)差分演化的兩階段極速學(xué)習(xí)機算法53-74
• 4.1 引言53
• 4.2 相關(guān)工作介紹53-56
• 4.3 極速學(xué)習(xí)機與參數(shù)自適應(yīng)差分演化算法56-61
• 4.3.1 極速學(xué)習(xí)機算法56-59
• 4.3.2 參數(shù)自適應(yīng)差分演化算法59-61
• 4.4 自適應(yīng)多差分進化策略混合差分演化算法61-64
• 4.5 基于Sa-MEHDE的2階段極速學(xué)習(xí)機算法64-68
• 4.5.1 網(wǎng)絡(luò)結(jié)構(gòu)的初步優(yōu)化64-67
• 4.5.2 網(wǎng)絡(luò)結(jié)構(gòu)及隱單元隨機參數(shù)的深度優(yōu)化67-68
• 4.6 實驗及分析68-73
• 4.6.1 實驗說明69
• 4.6.2 回歸問題Sin C上的實驗結(jié)果69-71
• 4.6.3 分類問題上的實驗結(jié)果71-73
• 4.7 本章小結(jié)73-74
• 第五章 加權(quán)模糊規(guī)則權(quán)重學(xué)習(xí)74-92
• 5.1 引言74-75
• 5.2 全局加權(quán)模糊IF-THEN規(guī)則推理75-81
• 5.3 基于最大模糊熵的參數(shù)優(yōu)化方法81-86
• 5.4 仿真實驗86-88
• 5.4.1 優(yōu)化全局權(quán)前后的實驗比較86-87
• 5.4.2 基于最大模糊熵與訓(xùn)練誤差減小的權(quán)優(yōu)化方法比較87-88
• 5.5 模糊規(guī)則權(quán)的推廣88-90
• 5.6 本章小結(jié)90-92
• 第六章 集成學(xué)習(xí)中基分類器泛化能力與模糊性之間關(guān)系的研究92-118
• 6.1 引言92-94
• 6.2 分類邊界94-99
• 6.3 分類器的模糊性99-105
• 6.4 泛化能力與模糊性之間的關(guān)系105-116
• 6.5 本章小結(jié)116-118
• 結(jié)論與展望118-120
• 參考文獻120-137
• 攻讀博士學(xué)位期間取得的研究成果137-139
• 致謝139-140
• 附件140

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前3條

1 賀毅朝;王熙照;寇應(yīng)展;;一種具有混合編碼的二進制差分演化算法[J];計算機研究與發(fā)展;2007年09期

2 謝曉鋒,張文俊,張國瑞,楊之廉;差異演化的實驗研究[J];控制與決策;2004年01期

3 吳亮紅;王耀南;陳正龍;;求解混合整數(shù)非線性規(guī)劃問題的改進差分進化算法[J];小型微型計算機系統(tǒng);2007年04期

  本文關(guān)鍵詞：機器學(xué)習(xí)中的權(quán)重學(xué)習(xí)與差分演化，由筆耕文化傳播整理發(fā)布。

本文編號：370332