本文關鍵詞：機器學習和神經網絡學習中的若干問題研究

  更多相關文章： 機器學習 前饋神經網絡 網絡結構優(yōu)化 泛化性能 泛化界

【摘要】：在機器學習中,通常根據是否利用有標記樣本進行學習將其分為有監(jiān)督學習和無監(jiān)督學習.作為機器學習的重要組成部分,前饋神經網絡在模式識別、函數(shù)逼近等方面具有重要應用.對有監(jiān)督學習,訓練樣本通過輸入層映射到隱層,經隱層激活函數(shù)作用后,映射到輸出層,再根據某種學習規(guī)則進行網絡權值的調整.神經網絡結構涉及到網絡中輸入層、隱層和輸出層的神經元節(jié)點數(shù)及節(jié)點間的連接方式.神經網絡的學習速度與泛化能力和網絡結構、樣本特性密切相關.本文研究的重點是單隱層前饋神經網絡結構的優(yōu)化,以及樣本學習過程的泛化界.具體安排如下：第一章主要介紹機器學習及神經網絡學習,前饋神經網絡及網絡結構優(yōu)化和樣本學習的泛化能力等相關內容和研究情況.在第二章中,注意到樣本維數(shù)和前饋神經網絡輸入層節(jié)點密切相關,我們主要研究基于粗糙集的樣本屬性約簡算法,提出了一種基于集合基本運算的屬性約簡算法,把傳統(tǒng)約簡方法中的合取、析取等運算轉化為普通集合的基本運算.算例表明,該算法可以有效降低輸入樣本的維數(shù),以此達到優(yōu)化前饋神經網絡輸入層的目的.第三章主要研究在多分類問題中多重感知機輸出節(jié)點,在“一對一”輸出模式下和“二進制”輸出模式下的關系.我們指出了當分類規(guī)模k≤8時,利用m≤[log2(k+1)]個“二進制”輸出神經元的多重感知機,可等價地解決此問題,并進行了理論論證.為達到優(yōu)化前饋神經網絡隱層的目的,我們在第四章結合雙并聯(lián)神經網絡結構和快速學習機(ELM),提出了雙并聯(lián)快速學習機,并推導了相應的在線順序學習算法.數(shù)值實驗表明,雙并聯(lián)快速學習機可以有效解決某些分類和回歸問題,和傳統(tǒng)的ELM相比,使用隱節(jié)點數(shù)大大減少,網絡的泛化性能也有所提高.我們在第五章中,把有監(jiān)督學習置于統(tǒng)計學習框架下,研究當樣本取自某不確定隨機過程時其學習過程的泛化性能.在本章中,我們設計了一種理論框架,把非獨立同分布樣本的泛化界,分成4個有機組成部分,分別研究了其泛化界.特別的,我們研究了Φ4的偏差不等式和對稱不等式,這是對經典統(tǒng)計學習理論結果的有益補充.
【學位授予單位】：大連理工大學
【學位級別】：博士
【學位授予年份】：2016
【分類號】：TP18

【相似文獻】

中國期刊全文數(shù)據庫 前10條

1 張明玉,倪志偉;基于機器學習的智能決策支持系統(tǒng)[J];淮南師范學院學報;2005年03期

2 楊凌霄;武建平;;機器學習方法在人臉檢測中的應用[J];計算機與數(shù)字工程;2008年03期

3 ;第十一屆中國機器學習會議[J];智能系統(tǒng)學報;2008年02期

4 ;第14屆中國機器學習會議[J];智能系統(tǒng)學報;2012年06期

5 費宗銘;呂建;王志堅;陳道蓄;徐家福;;機器學習[J];計算機科學;1991年01期

6 趙沁平;魏華;王軍玲;;機器學習技術與機器學習系統(tǒng)[J];計算機科學;1993年05期

7 姚敏;機器學習及其發(fā)展方向[J];計算機時代;1994年04期

8 ;第31屆機器學習國際會議(英文)[J];智能系統(tǒng)學報;2014年01期

9 黃海濱;機器學習及其主要策略[J];河池師范高等�？茖W校學報(自然科學版);2000年04期

10 佘玉梅;一種協(xié)調機器學習方法研究[J];云南民族學院學報(自然科學版);2000年03期

中國重要會議論文全文數(shù)據庫 前10條

1 王玨;;歸納機器學習[A];2001年中國智能自動化會議論文集（上冊）[C];2001年

2 王昊;李銀波;紀志梁;;利用機器學習方法預測嚴重藥物不良反應-呼吸困難[A];中國化學會第28屆學術年會第13分會場摘要集[C];2012年

3 吳滄浦;;智能系統(tǒng)與機器學習的新領域[A];西部大開發(fā) 科教先行與可持續(xù)發(fā)展——中國科協(xié)2000年學術年會文集[C];2000年

4 周晴杰;徐立鴻;吳啟迪;;機器學習串級結構的初步探討[A];1998年中國控制會議論文集[C];1998年

5 李剛;郭崇慧;林鴻飛;楊志豪;唐煥文;;基于詞典法和機器學習法相結合的蛋白質名識別[A];大連理工大學生物醫(yī)學工程學術論文集（第2卷）[C];2005年

6 徐禮勝;李乃民;王寬全;張冬雨;耿斌;姜曉睿;陳超海;羅貴存;;機器學習在中醫(yī)計算機診斷識別系統(tǒng)中的應用思考[A];第一屆全國中西醫(yī)結合診斷學術會議論文選集[C];2006年

7 蔡健平;林世平;;基于機器學習的詞語和句子極性分析[A];第三屆全國信息檢索與內容安全學術會議論文集[C];2007年

8 黃金鐵;李景銀;周建常;;對高爐爐況評價模型參數(shù)的機器學習——一個三類線性模式分類器的實現(xiàn)[A];1995中國控制與決策學術年會論文集[C];1995年

9 程國建;蔡磊;潘華賢;;核向量機在大規(guī)模機器學習中的應用[A];第十一屆中國青年信息與管理學者大會論文集[C];2009年

10 張鈸;張鈴;;統(tǒng)計學習理論及其應用[A];2001年中國智能自動化會議論文集（上冊）[C];2001年

中國重要報紙全文數(shù)據庫 前10條

1 黎驪/文 [美] Tom M.Mitchell 著;機器學習與智能化社會[N];中國郵政報;2003年

2 IBM大數(shù)據專家 James Kobielus　范范 編譯;機器學習已成為大數(shù)據基石[N];網絡世界;2014年

3 本報記者 房琳琳;合久必分：分布式“機器學習”應運而生[N];科技日報;2014年

4 雨辰;機器學習類圖書為什么火爆[N];中華讀書報;2014年

5 百度公司技術副總監(jiān) 多媒體部負責人 余凱;深度學習與多媒體搜索技術演進[N];中國信息化周報;2013年

6 本報記者 余建斌;機器學習與互聯(lián)網搜索[N];人民日報;2011年

7 本報記者 張曄邋通訊員 李瑋;周志華：永不墨守成規(guī)[N];科技日報;2008年

8 記者　 彭德倩;機器學習精度提升近6個百分點[N];解放日報;2006年

9 本報記者 閔杰;大數(shù)據熱 高端人才缺[N];中國電子報;2013年

10 沈建苗 編譯;如何成為大數(shù)據科學家[N];計算機世界;2013年

中國博士學位論文全文數(shù)據庫 前10條

1 董春茹;機器學習中的權重學習與差分演化[D];華南理工大學;2015年

2 姚明臣;機器學習和神經網絡學習中的若干問題研究[D];大連理工大學;2016年

3 趙玉鵬;機器學習的哲學探索[D];大連理工大學;2010年

4 胡巍;面向格結構的機器學習[D];上海交通大學;2009年

5 張義榮;基于機器學習的入侵檢測技術研究[D];國防科學技術大學;2005年

6 錢線;快速精確的結構化機器學習方法研究[D];復旦大學;2010年

7 梁錫軍;稀疏優(yōu)化在機器學習中的若干應用[D];大連理工大學;2013年

8 蔣剛;核機器學習方法若干問題研究[D];西南交通大學;2006年

9 陳慧靈;面向智能決策問題的機器學習方法研究[D];吉林大學;2012年

10 周偉達;核機器學習方法研究[D];西安電子科技大學;2003年

中國碩士學位論文全文數(shù)據庫 前10條

1 毛海斌;基于半監(jiān)督機器學習的情感分類領域適應問題研究[D];南京理工大學;2015年

2 安軍輝;基于微博數(shù)據的微博用戶性別判斷研究[D];華中師范大學;2015年

3 陳召陽;基于機器學習的改性麥槽吸附重金屬構效關系模型研究[D];江西理工大學;2014年

4 王成;基于半監(jiān)督機器學習的文本情感分析技術[D];南京理工大學;2015年

5 孫科;基于Spark的機器學習應用框架研究與實現(xiàn)[D];上海交通大學;2015年

6 劉江龍;基于機器學習的射頻指紋定位方法研究[D];電子科技大學;2015年

7 張蕾;基于機器學習的網絡輿情采集技術研究與設計[D];電子科技大學;2014年

8 施宇;基于數(shù)據挖掘和機器學習的木馬檢測系統(tǒng)設計與實現(xiàn)[D];電子科技大學;2014年

9 施應敏;基于機器學習的Femtocell信道頻譜與功率資源分配算法的研究[D];南京郵電大學;2015年

10 張柯;基于機器學習的錯誤定位方法研究[D];南京航空航天大學;2015年

，

本文編號：1303080