發(fā)布時間：2017-03-30 02:10

  本文關(guān)鍵詞：深度極限學(xué)習(xí)機(jī)的研究與應(yīng)用，，由筆耕文化傳播整理發(fā)布。

【摘要】：近年來,深度學(xué)習(xí)已經(jīng)成為機(jī)器學(xué)習(xí)領(lǐng)域的一項新興研究,其多隱含層的神經(jīng)網(wǎng)絡(luò)架構(gòu)有助于深度神經(jīng)網(wǎng)絡(luò)進(jìn)行逐層的特征抽取以形成數(shù)據(jù)的高階表示;貪婪的逐層無監(jiān)督訓(xùn)練可以作為有監(jiān)督參數(shù)微調(diào)過程的初始化設(shè)置,解決大數(shù)據(jù)時代訓(xùn)練標(biāo)簽難以獲取的難題。但是,深度神經(jīng)網(wǎng)絡(luò)的有監(jiān)督訓(xùn)練多采用基于梯度的優(yōu)化準(zhǔn)則,在該學(xué)習(xí)框架中,所有的隱含層參數(shù)需要迭代訓(xùn)練,因此,深度結(jié)構(gòu)難以以快速的學(xué)習(xí)速率實現(xiàn)良好的泛化性能。針對基于梯度類學(xué)習(xí)算法訓(xùn)練速度慢、泛化性能差等缺點,黃廣斌等人提出了一種簡便、高效的訓(xùn)練策略——極限學(xué)習(xí)機(jī)(ELM)。在該策略中,單隱層前饋神經(jīng)網(wǎng)絡(luò)根據(jù)某種概率分布隨機(jī)選取隱含層輸出,避免了參數(shù)的迭代微調(diào);鑒于其學(xué)習(xí)速率快、泛化性能好、不易陷入局部最優(yōu),ELM被廣泛應(yīng)用于各種分類和回歸問題。然而,ELM的單隱層結(jié)構(gòu)制約了其捕捉高維度數(shù)據(jù)中有效特征的能力,因此難以適用于大數(shù)據(jù)時代日益膨脹的數(shù)據(jù)�；谝陨蟽煞N算法,黃廣斌等人提出一種深度多層極限學(xué)習(xí)機(jī)算法,多層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)使其可以提取出數(shù)據(jù)中高層次的抽象信息;ELM的理論避免了網(wǎng)絡(luò)權(quán)值的反復(fù)迭代調(diào)整,提高了計算效率;半監(jiān)督的逐層訓(xùn)練機(jī)制解決了很多實際問題中訓(xùn)練標(biāo)簽難以獲取的問題。因此,深度多層極限學(xué)習(xí)機(jī)能同時有效地解決大數(shù)據(jù)時代高維度,大數(shù)據(jù),獲取標(biāo)記樣本難、構(gòu)造特征難、訓(xùn)練難等問題。針對深度極限學(xué)習(xí)機(jī)(DELM)算法,本文主要做了以下研究:(1)在機(jī)器人抓取識別任務(wù)中,針對RGB信息和Depth信息融合問題,本文采用多模態(tài)深度極限學(xué)習(xí)機(jī)(MM-DELM)作為多模態(tài)融合模型訓(xùn)練方案,可以有效地學(xué)習(xí)并融合RGB模態(tài)和Depth模態(tài)中的原始像素信息,并在Cornell Grasping數(shù)據(jù)集上進(jìn)行驗證。(2)通過實驗證明,MM-DELM訓(xùn)練算法極大地改善了識別的準(zhǔn)確率,并且遵循著類似ELM的收斂性,其性能在廣泛的參數(shù)取值空間內(nèi)很穩(wěn)定,不同的參數(shù)選擇并不會造成模型性能大范圍的變動。因此,為本文的參數(shù)選擇提供了依據(jù)。(3)在時間序列預(yù)測任務(wù)中,本文將DELM算法應(yīng)用于建立局部預(yù)測模型。該模型將混合歐式距離作為相似性度量方法,完成訓(xùn)練樣本的重組,并采用DELM構(gòu)建重組樣本的預(yù)測模型。(4)為了驗證DELM預(yù)測模型的準(zhǔn)確性,選取時間序列數(shù)據(jù)庫(TSDL)的五個數(shù)據(jù)集作為實驗數(shù)據(jù)集,分別驗證了基于混合歐氏距離的DELM局部預(yù)測模型在單步預(yù)測和多步預(yù)測中的泛化性能。
【關(guān)鍵詞】：深度學(xué)習(xí) 深度極限學(xué)習(xí)機(jī) 機(jī)器抓取識別 多模態(tài)融合 時間序列預(yù)測
【學(xué)位授予單位】：太原理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP181
【目錄】：

• 摘要3-5
• ABSTRACT5-13
• 第1章 緒論13-19
• 1.1 課題研究背景及意義13-14
• 1.2 國內(nèi)外研究現(xiàn)狀14-15
• 1.3 本文主要研究內(nèi)容15-19
• 第2章 極限學(xué)習(xí)機(jī)19-27
• 2.1 引言19
• 2.2 人工神經(jīng)網(wǎng)絡(luò)19-23
• 2.2.1 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)20-21
• 2.2.2 單隱含層前饋神經(jīng)網(wǎng)絡(luò)21-23
• 2.3 極限學(xué)習(xí)機(jī)23-26
• 2.3.1 極限學(xué)習(xí)機(jī)理論24-25
• 2.3.2 極限學(xué)習(xí)機(jī)算法25-26
• 2.4 本章小結(jié)26-27
• 第3章 深度極限學(xué)習(xí)機(jī)27-35
• 3.1 引言27
• 3.2 深度神經(jīng)網(wǎng)絡(luò)27-32
• 3.2.1 卷積神經(jīng)網(wǎng)絡(luò)28-29
• 3.2.2 深度信念網(wǎng)絡(luò)29-31
• 3.2.3 自編碼器31-32
• 3.3 深度極限學(xué)習(xí)機(jī)32-34
• 3.4 本章小結(jié)34-35
• 第4章 基于深度極限學(xué)習(xí)機(jī)的多模態(tài)融合技術(shù)35-55
• 4.1 引言35-36
• 4.2 多模態(tài)深度學(xué)習(xí)36-40
• 4.2.1 同構(gòu)數(shù)據(jù)36-37
• 4.2.2 異構(gòu)數(shù)據(jù)37-40
• 4.3 機(jī)器抓取40-41
• 4.4 問題描述41-42
• 4.5 基于深度極限學(xué)習(xí)機(jī)的多模態(tài)融合算法42-47
• 4.6 實驗結(jié)果及分析47-53
• 4.6.1 Cornell grasping數(shù)據(jù)庫47-48
• 4.6.2 實驗結(jié)果48-51
• 4.6.3 參數(shù)靈敏度實驗51-53
• 4.7 本章小結(jié)53-55
• 第5章 基于深度極限學(xué)習(xí)機(jī)的時間序列預(yù)測55-69
• 5.1 引言55-56
• 5.2 時間序列預(yù)測56-57
• 5.3 問題描述57-58
• 5.4 時間序列預(yù)測模型58-61
• 5.4.1 訓(xùn)練樣本提取59-60
• 5.4.2 DELM模型推導(dǎo)60-61
• 5.5 公開數(shù)據(jù)集介紹61
• 5.6 實驗結(jié)果及分析61-67
• 5.6.1 單步預(yù)測62-64
• 5.6.2 多步預(yù)測64-67
• 5.7 本章小結(jié)67-69
• 第6章 總結(jié)69-71
• 參考文獻(xiàn)71-75
• 致謝75-77
• 攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文目錄77

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 云中客;新的神經(jīng)網(wǎng)絡(luò)來自于仿生學(xué)[J];物理;2001年10期

2 唐春明,高協(xié)平;進(jìn)化神經(jīng)網(wǎng)絡(luò)的研究進(jìn)展[J];系統(tǒng)工程與電子技術(shù);2001年10期

3 李智;一種基于神經(jīng)網(wǎng)絡(luò)的煤炭調(diào)運(yùn)優(yōu)化方法[J];長沙鐵道學(xué)院學(xué)報;2003年02期

4 程科,王士同,楊靜宇;新型模糊形態(tài)神經(jīng)網(wǎng)絡(luò)及其應(yīng)用研究[J];計算機(jī)工程與應(yīng)用;2004年21期

5 王凡,孟立凡;關(guān)于使用神經(jīng)網(wǎng)絡(luò)推定操作者疲勞的研究[J];人類工效學(xué);2004年03期

6 周麗暉;從統(tǒng)計角度看神經(jīng)網(wǎng)絡(luò)[J];統(tǒng)計教育;2005年06期

7 趙奇 ,劉開第 ,龐彥軍;灰色補(bǔ)償神經(jīng)網(wǎng)絡(luò)及其應(yīng)用研究[J];微計算機(jī)信息;2005年14期

8 袁婷;;神經(jīng)網(wǎng)絡(luò)在股票市場預(yù)測中的應(yīng)用[J];軟件導(dǎo)刊;2006年05期

9 尚晉;楊有;;從神經(jīng)網(wǎng)絡(luò)的過去談科學(xué)發(fā)展觀[J];重慶三峽學(xué)院學(xué)報;2006年03期

10 楊鐘瑾;;神經(jīng)網(wǎng)絡(luò)的過去、現(xiàn)在和將來[J];青年探索;2006年04期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 徐春玉;;基于泛集的神經(jīng)網(wǎng)絡(luò)的混沌性[A];1996中國控制與決策學(xué)術(shù)年會論文集[C];1996年

2 周樹德;王巖;孫增圻;孫富春;;量子神經(jīng)網(wǎng)絡(luò)[A];2003年中國智能自動化會議論文集（上冊）[C];2003年

3 羅山;張琳;范文新;;基于神經(jīng)網(wǎng)絡(luò)和簡單規(guī)劃的識別融合算法[A];2009系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)會議論文集[C];2009年

4 郭愛克;馬盡文;丁康;;序言(二)[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號處理學(xué)術(shù)會議論文集[C];1999年

5 鐘義信;;知識論:神經(jīng)網(wǎng)絡(luò)的新機(jī)遇——紀(jì)念中國神經(jīng)網(wǎng)絡(luò)10周年[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號處理學(xué)術(shù)會議論文集[C];1999年

6 許進(jìn);保錚;;神經(jīng)網(wǎng)絡(luò)與圖論[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號處理學(xué)術(shù)會議論文集[C];1999年

7 金龍;朱詩武;趙成志;陳寧;;數(shù)值預(yù)報產(chǎn)品的神經(jīng)網(wǎng)絡(luò)釋用預(yù)報應(yīng)用[A];1999年中國神經(jīng)網(wǎng)絡(luò)與信號處理學(xué)術(shù)會議論文集[C];1999年

8 田金亭;;神經(jīng)網(wǎng)絡(luò)在中學(xué)生創(chuàng)造力評估中的應(yīng)用[A];第十二屆全國心理學(xué)學(xué)術(shù)大會論文摘要集[C];2009年

9 唐墨;王科俊;;自發(fā)展神經(jīng)網(wǎng)絡(luò)的混沌特性研究[A];2009年中國智能自動化會議論文集（第七分冊）[南京理工大學(xué)學(xué)報（增刊）][C];2009年

10 張廣遠(yuǎn);萬強(qiáng);曹海源;田方濤;;基于遺傳算法優(yōu)化神經(jīng)網(wǎng)絡(luò)的故障診斷方法研究[A];第十二屆全國設(shè)備故障診斷學(xué)術(shù)會議論文集[C];2010年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 美國明尼蘇達(dá)大學(xué)社會學(xué)博士 密西西比州立大學(xué)國家戰(zhàn)略規(guī)劃與分析研究中心資深助理研究員 陳心想;維護(hù)好創(chuàng)新的“神經(jīng)網(wǎng)絡(luò)硬件”[N];中國教師報;2014年

2 盧業(yè)忠;腦控電腦 驚世駭俗[N];計算機(jī)世界;2001年

3 葛一鳴 路邊文;人工神經(jīng)網(wǎng)絡(luò)將大顯身手[N];中國紡織報;2003年

4 中國科技大學(xué)計算機(jī)系　邢方亮;神經(jīng)網(wǎng)絡(luò)挑戰(zhàn)人類大腦[N];計算機(jī)世界;2003年

5 記者 孫剛;“神經(jīng)網(wǎng)絡(luò)”：打開復(fù)雜工藝“黑箱”[N];解放日報;2007年

6 本報記者 劉霞;美用DNA制造出首個人造神經(jīng)網(wǎng)絡(luò)[N];科技日報;2011年

7 健康時報特約記者　 張獻(xiàn)懷;干細(xì)胞移植：修復(fù)受損的神經(jīng)網(wǎng)絡(luò)[N];健康時報;2006年

8 劉力;我半導(dǎo)體神經(jīng)網(wǎng)絡(luò)技術(shù)及應(yīng)用研究達(dá)國際先進(jìn)水平[N];中國電子報;2001年

9 ;神經(jīng)網(wǎng)絡(luò)和模糊邏輯[N];世界金屬導(dǎo)報;2002年

10 鄒麗梅 陳耀群;江蘇科大神經(jīng)網(wǎng)絡(luò)應(yīng)用研究通過鑒定[N];中國船舶報;2006年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 楊旭華;神經(jīng)網(wǎng)絡(luò)及其在控制中的應(yīng)用研究[D];浙江大學(xué);2004年

2 李素芳;基于神經(jīng)網(wǎng)絡(luò)的無線通信算法研究[D];山東大學(xué);2015年

3 石艷超;憶阻神經(jīng)網(wǎng)絡(luò)的混沌性及幾類時滯神經(jīng)網(wǎng)絡(luò)的同步研究[D];電子科技大學(xué);2014年

4 王新迎;基于隨機(jī)映射神經(jīng)網(wǎng)絡(luò)的多元時間序列預(yù)測方法研究[D];大連理工大學(xué);2015年

5 付愛民;極速學(xué)習(xí)機(jī)的訓(xùn)練殘差、穩(wěn)定性及泛化能力研究[D];中國農(nóng)業(yè)大學(xué);2015年

6 李輝;基于粒計算的神經(jīng)網(wǎng)絡(luò)及集成方法研究[D];中國礦業(yè)大學(xué);2015年

7 王衛(wèi)蘋;復(fù)雜網(wǎng)絡(luò)幾類同步控制策略研究及穩(wěn)定性分析[D];北京郵電大學(xué);2015年

8 曾U喺

本文編號：275971