增量型極限學習機算法的研究
發(fā)布時間:2021-07-06 02:14
極限學習機的隱含層參數(shù)輸入權重和偏置值都是隨機選取的,需要設置的唯一參數(shù)是隱含層節(jié)點的數(shù)量。通過最小二乘法求得輸出權重,避免了多次迭代和局部最小化的問題,具有良好的泛化性能和極高的學習效率。其廣泛應用于醫(yī)學生物、計算機視覺和圖像處理等方面。近年來,對尋找最優(yōu)隱含層節(jié)點數(shù)和訓練樣本在線加入模型的研究較多,本文對增量型極限學習機研究如下:無逆矩陣極限學習機通過逐步增加隱含層節(jié)點尋找最優(yōu)隱含層節(jié)點數(shù)。本文將其改進為無逆矩陣在線序列版本,稱為無逆矩陣在線序列極限學習機(IFOS-ELM)。該算法首先通過舒爾補公式尋找到最優(yōu)隱含層節(jié)點數(shù),然后利用Sherman-Morrison-Woodbury公式將新增樣本數(shù)據(jù)逐步添加到模型中,避免對已經(jīng)分析過的訓練樣本的輸出權重進行重復計算。文中相應的給出了所提IFOS-ELM算法的詳細推導。本文通過不同類型和大小數(shù)據(jù)集上的實驗結果表明,所提IFOS-ELM算法非常適合在線學習場景,在快速學習和性能方面都有很好的表現(xiàn)。但是對于類別不平衡數(shù)據(jù),IFOS-ELM算法存在著分類準確率差的問題。為此,本文進一步提出了面向類別不平衡的增量在線序列極限學習機(IOS-E...
【文章來源】:江南大學江蘇省 211工程院校 教育部直屬院校
【文章頁數(shù)】:61 頁
【學位級別】:碩士
【文章目錄】:
摘要
Abstract
第一章 緒論
1.1 研究背景
1.2 研究意義
1.3 國內(nèi)外研究動態(tài)和趨勢
1.4 本文主要研究內(nèi)容
第二章 極限學習機及相關變體
2.1 極限學習機的基本思想
2.2 極限學習機相關變體
2.2.1 正則化極限學習機
2.2.2 增量極限學習機
2.2.3 在線序列極限學習機
2.2.4 加權極限學習機算法
2.2.5 EWOS-ELM算法
2.2.6 半監(jiān)督與無監(jiān)督極限學習機
2.3 SMOTE
2.4 本章小結
第三章 無逆矩陣在線序列極限學習機
3.1 引言
3.2 相關數(shù)學公式
3.2.1 Moore-Penrose廣義逆矩陣
3.2.2 Sherman-Morrison-Woodbury公式
3.2.3 舒爾補公式
3.3 無逆矩陣極限學習機
3.4 IFOS-ELM算法
3.4.1 IFOS-ELM算法過程
3.4.2 IFOS-ELM算法時間復雜度分析
3.4.3 IFOS-ELM算法總結
3.5 實驗結果與分析
3.5.1 實驗環(huán)境
3.5.2 評估指標
3.5.3 回歸實驗結果
3.5.4 分類實驗結果
3.6 本章小結
第四章 面向類別不平衡的增量在線序列極限學習機
4.1 引言
4.2 IOS-ELM算法
4.2.1 IOS-ELM算法思想
4.2.2 IOS-ELM算法推導
4.3 實驗結果與分析
4.3.1 算法評估指標
4.3.2 實驗數(shù)據(jù)及平臺
4.3.3 二分類實驗結果
4.3.4 多分類實驗結果
4.4 本章小結
第五章 工作總結與展望
5.1 工作總結
5.2 研究工作展望
致謝
參考文獻
附錄 :作者在攻讀碩士學位期間發(fā)表的論文
本文編號:3267313
【文章來源】:江南大學江蘇省 211工程院校 教育部直屬院校
【文章頁數(shù)】:61 頁
【學位級別】:碩士
【文章目錄】:
摘要
Abstract
第一章 緒論
1.1 研究背景
1.2 研究意義
1.3 國內(nèi)外研究動態(tài)和趨勢
1.4 本文主要研究內(nèi)容
第二章 極限學習機及相關變體
2.1 極限學習機的基本思想
2.2 極限學習機相關變體
2.2.1 正則化極限學習機
2.2.2 增量極限學習機
2.2.3 在線序列極限學習機
2.2.4 加權極限學習機算法
2.2.5 EWOS-ELM算法
2.2.6 半監(jiān)督與無監(jiān)督極限學習機
2.3 SMOTE
2.4 本章小結
第三章 無逆矩陣在線序列極限學習機
3.1 引言
3.2 相關數(shù)學公式
3.2.1 Moore-Penrose廣義逆矩陣
3.2.2 Sherman-Morrison-Woodbury公式
3.2.3 舒爾補公式
3.3 無逆矩陣極限學習機
3.4 IFOS-ELM算法
3.4.1 IFOS-ELM算法過程
3.4.2 IFOS-ELM算法時間復雜度分析
3.4.3 IFOS-ELM算法總結
3.5 實驗結果與分析
3.5.1 實驗環(huán)境
3.5.2 評估指標
3.5.3 回歸實驗結果
3.5.4 分類實驗結果
3.6 本章小結
第四章 面向類別不平衡的增量在線序列極限學習機
4.1 引言
4.2 IOS-ELM算法
4.2.1 IOS-ELM算法思想
4.2.2 IOS-ELM算法推導
4.3 實驗結果與分析
4.3.1 算法評估指標
4.3.2 實驗數(shù)據(jù)及平臺
4.3.3 二分類實驗結果
4.3.4 多分類實驗結果
4.4 本章小結
第五章 工作總結與展望
5.1 工作總結
5.2 研究工作展望
致謝
參考文獻
附錄 :作者在攻讀碩士學位期間發(fā)表的論文
本文編號:3267313
本文鏈接:http://sikaile.net/kejilunwen/zidonghuakongzhilunwen/3267313.html
最近更新
教材專著