極限學習機（Extreme Learning Machine,ELM）作為一種學習高效的單隱層前饋神經(jīng)網(wǎng)路學習算法,受到越來越多研究人員的關(guān)注。傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)學習算法需要對大量的參數(shù)進行復雜的調(diào)整,從模型最后一層往前傳遞誤差時容易過擬合、陷入局部最優(yōu)解。支持向量機具有其理論優(yōu)勢,但它僅適用于二元分類問題,不適合當前大數(shù)據(jù)量的文本分類和管理。極限學習機參數(shù)簡單無需人工設(shè)置,在模型的訓練中隨機設(shè)置極限學習機的輸入權(quán)值和隱藏層的閾值即可以產(chǎn)生模型的最優(yōu)解。極限學習機具有學習速度快且泛化性能好的特點,在大規(guī)模樣本學習以及實時處理等問題中表現(xiàn)出巨大的潛力。本文在前人研究工作的基礎(chǔ)上,圍繞文本分類和極限學習機的若干理論和實際問題展開研究。論文主要的工作包括以下幾個方面:（1）當訓練樣本中異常值過多時,傳統(tǒng)的極限學習機會發(fā)生過擬合。本文提出了一種新穎的混合距離和密度的模糊隸屬度函數(shù)自適應(yīng)模糊極限學習機模型。傳統(tǒng)密度隸屬度函數(shù)是基于樣本和它最近的K個樣本之間的密度,然而這種方法不能真實反應(yīng)出樣本的實際分布。通過基于量子諧振子模型的聚類算法來無監(jiān)督地獲得樣本所屬的類別以及在該類別中樣本和其他樣本之間的密... 

【文章來源】：中國科學院大學(中國科學院重慶綠色智能技術(shù)研究院)重慶市

【文章頁數(shù)】：139 頁

【學位級別】：博士

【部分圖文】：

圖２．２?ＬＤＡ模型圖形化表示??

?：：」」Ｍ??圖２．２?ＬＤＡ模型圖形化表示??研宄人員發(fā)現(xiàn)那些不在訓練文本數(shù)據(jù)集中但是在測試文本數(shù)據(jù)集中的特征詞??對于改善分類性能有非常大的幫助。ｇＬＤＡ模型對ＬＤＡ進行了改進，在該模型中??每一個文本分布的概率是由最大相關(guān)類別的文本產(chǎn)生的ｍ。通過一個大規(guī)模的訓練??過的文本數(shù)據(jù)集應(yīng)用到一個小的文本數(shù)據(jù)集上來對單詞－主題的映射性能進行改??進。Ｍｕｌｔｉ－ＬＤＡ?Ｂｏｏｓｔ是把ｂｏｏｓｔｉｎｇ策略應(yīng)用到ＬＤＡ中的一個新穎的分類器，該模??型從很多不同參數(shù)的模型中選擇一個最佳方案，通過加權(quán)的方法來提高分類的性??能［８２］。?Ｌｉ，?Ｈｕａｎｇ和Ｚｈｕ在２０１０年提出了兩個聯(lián)合模型Ｓｅｎｔｉｍｅｎｔ－ＬＤＡ和??Ｄｅｐｅｎｄｅｎｃｙ－ｓｅｎｔｉｍｅｎｔ－ＬＤＡ用來發(fā)現(xiàn)文本中的正語義和負語義［８３１。Ｚｈａｏ等人２０１０??提出了?ＭａｘＥｎｔ－ＬＤＡ模型，該模型把最大熵和ＬＤＡ結(jié)合在一起生成一個復合模型，??該模型通過一個指示變量將兩個模型結(jié)合到一起，該變量從一系列參數(shù)的多項式??的分布中得到，最大熵算法用來學習其中用到的訓練樣本的參數(shù)［８４］。Ｓａｕｐｅｒ，??Ｈａｇｈｉｇｈｉ和Ｂａｒｚｉｌａｙ于２０１１年提出了?ＨＭＭ－ＬＤＡ模型

從模型最后一層往前傳遞誤差時，容易過擬合，陷入局部最優(yōu)解。ＢＰＮＮ在文本分??類中也有著相應(yīng)的應(yīng)用Ｅ５１］。??ＢＰ反向傳播網(wǎng)絡(luò)結(jié)構(gòu)如圖２．４所示。反向傳播網(wǎng)絡(luò)一共有三層，分別是輸入??層，隱藏層和輸出層。兩個相鄰的層是完全相互連接，并且每個連接將權(quán)重表示??為的ａ參數(shù)。ＢＰ的學習過程就是通過對每一個訓練樣本求取目標類別和判定類別??之間誤差的最小值來不斷更新參數(shù)〇的過程。ＢＰ輸入層的節(jié)點數(shù)量是和具體分類??麵康??輸入展?一，詩ｋ?ｈ＇、??＞＜?麵??…．??ｙ／Ｌ—Ｊ?｛?＼?＇、．??ｗ??圖２．４反向傳播神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖??任務(wù)中的訓練樣本的特征數(shù)量相關(guān)的，即每一個節(jié)點對應(yīng)著樣本特征的每一個維??度。輸出節(jié)點的數(shù)量是和分類任務(wù)中所有樣本的類別數(shù)量相關(guān)的。隱藏層的節(jié)點??數(shù)量是可以人為設(shè)定的，隱藏層節(jié)點的數(shù)量設(shè)定沒有一個標準規(guī)則的。在分類過??程中各層做起的作用分別是：輸入層接收樣本特征向量以便ＢＰ完成分類任務(wù)；隱??藏層用來定義訓練誤差并對模型進行學習；輸出層用來產(chǎn)生最后的分類結(jié)果。??表２．１顯示了?ＢＰ神經(jīng)網(wǎng)絡(luò)中各層的概念和各層節(jié)點的值。假設(shè)輸入樣本的特??征向量為義＝｜３七…＼］。表中每一列對應(yīng)每個層，每列中的第一行表示的是該??２７??

【參考文獻】：
期刊論文
[1]基于樣本熵與ELM-Adaboost的懸架減振器異響聲品質(zhì)預(yù)測[J]. 黃海波,李人憲,黃曉蓉,楊明亮,丁渭平.  振動與沖擊. 2016(13)
[2]基于核超限學習機的中文文本情感分類[J]. 于海燕,陳麗如,鄭文斌.  中國計量學院學報. 2016(02)
[3]一種用于車牌定位的改進BP神經(jīng)網(wǎng)絡(luò)方法[J]. 趙濤,楊曉莉,王緒本,張娜.  計算機仿真. 2007(02)
[4]基于模糊聚類的BP神經(jīng)網(wǎng)絡(luò)模型研究及應(yīng)用[J]. 何勇,項利國.  系統(tǒng)工程理論與實踐. 2004(02)

碩士論文
[1]基于粒子群優(yōu)化的極限學習機的XML文檔分類中的研究與應(yīng)用[D]. 李永強.東北大學 2013



本文編號：3228028