本文關鍵詞：機器學習中的權重學習與差分演化，，由筆耕文化傳播整理發(fā)布。

【摘要】：機器學習是人工智能的核心研究問題,是計算機獲得智能的根本途徑。自從20世紀50年代人工智能學科建立以來,人們已經提出了大量的機器學習算法,如決策樹、神經網絡、支持向量機、K均值聚類及KNN算法等。而實際問題中的真實數據往往具有以下的一個或幾個特點:含噪音的、具有缺失數據、數據類別分布不平衡、特征重要程度不同、大數據以及數據含有不確定性等,特別是當前隨著計算機技術及通訊網絡的迅猛發(fā)展,這些問題變得更加突出。為了處理這些不完美的數據,人們提出了許多改進的算法,比如可以集成多個學習器的集成學習系統(tǒng),能夠處理模糊數據的模糊系統(tǒng),引入權重的加權學習算法,基于高性能進化計算技術的學習算法等。其中加權技術和模糊系統(tǒng)是經常使用的兩種技巧,在這兩個課題上仍然存在著一些問題值得我們進一步研究,如在學習系統(tǒng)中如何獲取“良好”的權重以提高加權學習算法的性能?模糊分類器的性能與其模糊輸出向量之間有沒有關系?本文在選定的幾個學習模型上深入研究了權重的優(yōu)化模型及模糊分類器的模糊度與其性能的關系,并將改進的差分演化技術引入到權重的學習問題中。具體工作主要包括:首先,提出了基于多進化策略的混合差分演化算法,并將之用于求解加權模糊聚類中的權重;其次,針對更復雜的極速學習機(Extreme learning machine,ELM)中的網絡結構及隨機參數優(yōu)化問題,我們將進化策略及參數自適應技術引入前述差分演化算法,提出了一個基于自適應差分演化的2階段進化ELM算法;隨后,在加權模糊規(guī)則推理系統(tǒng)中,我們研究了加權模糊規(guī)則中的權重與推理系統(tǒng)的泛化能力之間的關系,隨后提出了一種基于最大模糊熵的權重精煉方案;最后,在集成學習系統(tǒng)中,我們分析了模糊基分類器輸出向量的模糊性與集成系統(tǒng)泛化能力的關系,并通過實驗及理論給出了幾個有意義的結論,同時對集成學習中基分類器的學習提出了一些實用的建議�；谝陨瞎ぷ�,本論文主要貢獻可總結為如下幾個方面:(1)提出了一種包含多種進化策略的混合差分演化算法并將之用于學習基于相似度的加權模糊聚類中的特征權重。提出的差分演化算法相對于已有算法,其即使用適于全局搜索的策略,也使用適于局部搜索的策略,從而增強了搜索能力,同時算法也沒有增加過多額外的計算。(2)提出一種自適應多進化策略混合差分演化算法,該算法通過依次選用多種進化策略以提高搜索能力,同時其可實現進化策略及控制參數的自適應。進一步基于該算法提出了一種ELM網絡的2階段訓練方案。該方案分兩個階段分別對ELM的網絡隱單元個數及隱單元參數進行優(yōu)化,即實現了網絡結構及隨機參數的自動獲取及優(yōu)化,又避免了傳統(tǒng)trial-and-error方法的高耗時性以及已有其它進化ELM同時優(yōu)化隱單元數及隨機參數時解空間的超高維、多峰值及冗余性,從而可以自動以較小的網絡結構獲得與基本ELM相當甚至更好的測試性能。(3)針對加權模糊推理系統(tǒng),提出了一種基于模糊最大熵原則的權重優(yōu)化模型。該模型與傳統(tǒng)大多數方法最小化訓練精度或驗證精度不同,其將加權模糊規(guī)則中的權重等參數看成變量,然后對于初始獲取的一組模糊規(guī)則(權重都為1),在模糊規(guī)則滿足所有已知約束(一般為訓練樣本的類別分對)的前提下,通過最小化模糊規(guī)則推理系統(tǒng)在訓練集上的輸出模糊熵來學習規(guī)則中的權重等參數的值。我們的數值仿真試驗也驗證了該方法可以很好地避免過擬合問題,從而得到滿意的分類器。(4)針對基于一般模糊分類器(或輸出為樣本屬于各個類別隸屬度的多類分類器)的集成學習系統(tǒng),我們首次研究了模糊基分類器的輸出不確定性(如模糊性、不可指定性等)與集成分類器的測試精度之間的關系。并得到了幾個有意義的結論,如:a)對于帶有復雜邊界的分類問題,模糊性大的樣本比模糊性小的樣本更容易被錯分;b)距離邊界近的樣本集與具有較高模糊性的樣本集一致,但是難于得到兩者之間的映射,該映射基于邊界樣本的定義;c)若訓練準確率可以被接受,帶有較高模糊性的分類器對復雜邊界問題具有較好的泛化能力能,并對該結論進行了實驗驗證。
【關鍵詞】：差分演化 機器學習 權重學習 極速學習機 集成學習 泛化能力 加權模糊規(guī)則系統(tǒng)
【學位授予單位】：華南理工大學
【學位級別】：博士
【學位授予年份】：2015
【分類號】：TP181
【目錄】：

• 摘要5-7
• Abstract7-17
• 主要符號表17-19
• 第一章 緒論19-22
• 1.1 研究意義19-20
• 1.2 論文的主要貢獻20-21
• 1.3 論文結構21-22
• 第二章 機器學習理論與算法文獻綜述22-31
• 2.1 機器學習理論22-23
• 2.1.1 統(tǒng)計機器學習與泛化誤差理論分析22-23
• 2.1.2 機器學習中的優(yōu)化理論研究23
• 2.2 特征加權與特征選擇23-25
• 2.3 分類學習算法25-27
• 2.3.1 決策樹學習算法25
• 2.3.2 神經網絡分類算法25-26
• 2.3.3 最近鄰分類算法26-27
• 2.3.4 多模型集成學習27
• 2.4 聚類算法27
• 2.5 差分演化算法27-31
• 2.5.1 DE的性能與其控制參數的關系28
• 2.5.2 變異與交叉操作的改進28-31
• 第三章 基于改進差分演化的加權模糊聚類31-53
• 3.1 引言31
• 3.2 相關工作介紹31-32
• 3.3 基于相似性的加權模糊聚類及其特征權學習問題32-34
• 3.3.1 基于相似性的加權模糊聚類32-33
• 3.3.2 基于相似性的加權模糊聚類中的特征權學習問題33-34
• 3.4 基于改進差分演化的加權模糊聚類34-42
• 3.4.1 差分演化與動態(tài)差分演化34-37
• 3.4.2 基于多差分進化策略協同演化的混合差分演化算法37-40
• 3.4.3 基于MEHDE的加權模糊聚類特征權學習模型40-42
• 3.5 實驗及分析42-51
• 3.5.1 實驗說明42-43
• 3.5.2 基于模糊C均值聚類的比較43-46
• 3.5.3 基于相似矩陣傳遞閉包聚類的實驗比較46-51
• 3.5.4 基于GD、DE、DDE及MEHDE的優(yōu)化技術效率分析51
• 3.6 本章小結51-53
• 第四章 基于自適應差分演化的兩階段極速學習機算法53-74
• 4.1 引言53
• 4.2 相關工作介紹53-56
• 4.3 極速學習機與參數自適應差分演化算法56-61
• 4.3.1 極速學習機算法56-59
• 4.3.2 參數自適應差分演化算法59-61
• 4.4 自適應多差分進化策略混合差分演化算法61-64
• 4.5 基于Sa-MEHDE的2階段極速學習機算法64-68
• 4.5.1 網絡結構的初步優(yōu)化64-67
• 4.5.2 網絡結構及隱單元隨機參數的深度優(yōu)化67-68
• 4.6 實驗及分析68-73
• 4.6.1 實驗說明69
• 4.6.2 回歸問題Sin C上的實驗結果69-71
• 4.6.3 分類問題上的實驗結果71-73
• 4.7 本章小結73-74
• 第五章 加權模糊規(guī)則權重學習74-92
• 5.1 引言74-75
• 5.2 全局加權模糊IF-THEN規(guī)則推理75-81
• 5.3 基于最大模糊熵的參數優(yōu)化方法81-86
• 5.4 仿真實驗86-88
• 5.4.1 優(yōu)化全局權前后的實驗比較86-87
• 5.4.2 基于最大模糊熵與訓練誤差減小的權優(yōu)化方法比較87-88
• 5.5 模糊規(guī)則權的推廣88-90
• 5.6 本章小結90-92
• 第六章 集成學習中基分類器泛化能力與模糊性之間關系的研究92-118
• 6.1 引言92-94
• 6.2 分類邊界94-99
• 6.3 分類器的模糊性99-105
• 6.4 泛化能力與模糊性之間的關系105-116
• 6.5 本章小結116-118
• 結論與展望118-120
• 參考文獻120-137
• 攻讀博士學位期間取得的研究成果137-139
• 致謝139-140
• 附件140

【參考文獻】

中國期刊全文數據庫 前3條

1 賀毅朝;王熙照;寇應展;;一種具有混合編碼的二進制差分演化算法[J];計算機研究與發(fā)展;2007年09期

2 謝曉鋒,張文俊,張國瑞,楊之廉;差異演化的實驗研究[J];控制與決策;2004年01期

3 吳亮紅;王耀南;陳正龍;;求解混合整數非線性規(guī)劃問題的改進差分進化算法[J];小型微型計算機系統(tǒng);2007年04期

  本文關鍵詞：機器學習中的權重學習與差分演化，由筆耕文化傳播整理發(fā)布。

本文編號：370332