本文關(guān)鍵詞：大規(guī)模稀疏學(xué)習(xí)研究：優(yōu)化算法及其應(yīng)用

  更多相關(guān)文章： 大規(guī)模稀疏學(xué)習(xí) 隨機(jī)優(yōu)化 篩選 隨機(jī)矩陣 多任務(wù)學(xué)習(xí) 基因風(fēng)險(xiǎn)因子

【摘要】：大規(guī)模稀疏學(xué)習(xí)是機(jī)器學(xué)習(xí)中的重要方法之一,在很多實(shí)際應(yīng)用問題上有著廣泛應(yīng)用,比如,文本信息挖掘、生物信息學(xué)、圖像處理、新聞推薦等等。然而,在具有海量樣本和超高特征維度的大規(guī)模問題中,大規(guī)模稀疏學(xué)習(xí)模型的高效訓(xùn)練依然是一個(gè)非常具有挑戰(zhàn)性的問題。因此,多年來,大規(guī)模稀疏學(xué)習(xí)一直是學(xué)術(shù)界和工業(yè)界的重要研究熱點(diǎn)。現(xiàn)有的大規(guī)模稀疏學(xué)習(xí)模型訓(xùn)練方法,大多是基于隨機(jī)復(fù)合優(yōu)化算法設(shè)計(jì)的。因?yàn)槠涞^程中的在線批量轉(zhuǎn)換步驟存在缺陷,所以,現(xiàn)有的算法不能獲得真正稀疏的模型。為此,通過將新的稀疏在線批量轉(zhuǎn)換步驟引入到隨機(jī)優(yōu)化中,我們提出了一個(gè)簡單有效的隨機(jī)復(fù)合優(yōu)化框架以及在此框架下的三個(gè)具體算法。理論分析和實(shí)驗(yàn)結(jié)果顯示,我們的算法不僅在稀疏學(xué)習(xí)能力方面完全優(yōu)于現(xiàn)有算法,而且能將大概率誤差界降低一個(gè)數(shù)量級。篩選是一類能夠有效加速大規(guī)模稀疏學(xué)習(xí)模型訓(xùn)練的新興技術(shù),能夠快速檢測出與模型無關(guān)的特征或者樣本并將其從模型中剔除,從而降低模型規(guī)模、提高訓(xùn)練效率。但是,現(xiàn)有的篩選算法都只單一研究特征篩選或者樣本篩選,無法應(yīng)用于數(shù)據(jù)量和特征數(shù)量都非常大的應(yīng)用中。為此,我們提出了一個(gè)基于原問題和對偶問題解的準(zhǔn)確估計(jì)的稀疏支持向量機(jī)靜態(tài)加速訓(xùn)練算法,該算法能夠同時(shí)篩選與模型無關(guān)的特征和樣本。實(shí)驗(yàn)結(jié)果顯示,我們的算法能夠帶來速度上幾個(gè)數(shù)量級的提升。另外,我們注意到,隨機(jī)矩陣算法在大規(guī)模數(shù)據(jù)分析中具有很高的時(shí)間效率,但尚未被引入到大規(guī)模稀疏學(xué)習(xí)模型的訓(xùn)練中。據(jù)此,我們創(chuàng)造性地將隨機(jī)矩陣引入到稀疏學(xué)習(xí)中,提出了基于隨機(jī)投影的加速稀疏線性回歸算法。我們的算法能在取得指數(shù)收斂速度的同時(shí),大大降低單次迭代的計(jì)算復(fù)雜度,而且我們算法的中間解的稀疏性具有理論保證。最后,在具體應(yīng)用方面,由于生物數(shù)據(jù)(如人類基因數(shù)據(jù))常常具有非常高的維度,而且其所用的稀疏學(xué)習(xí)模型比較復(fù)雜,因此,模型訓(xùn)練效率一直是大規(guī)模稀疏學(xué)習(xí)模型在生物信息學(xué)中應(yīng)用時(shí)面臨的瓶頸問題。對此,我們以阿爾茨海默病為例,提出了一種基于共享樹結(jié)構(gòu)的多任務(wù)特征學(xué)習(xí)的基因風(fēng)險(xiǎn)因子檢測算法。這是一項(xiàng)能夠通過同時(shí)利用特征結(jié)構(gòu)信息和多任務(wù)間共享信息來提高檢測性能的獨(dú)特技術(shù)。我們還為該模型設(shè)計(jì)了一種基于篩選的加速訓(xùn)練算法。相比于現(xiàn)有最佳方法,我們的方法在檢測基因風(fēng)險(xiǎn)因子方面具有明顯優(yōu)勢。我們的篩選方法能在不損失任何精度的前提下將模型訓(xùn)練效率提高數(shù)個(gè)數(shù)量級。
【學(xué)位授予單位】：浙江大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2017
【分類號】：TP181

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 劉波;;“算法設(shè)計(jì)與分析”教學(xué)探討[J];高等理科教育;2007年04期

2 肖小克;陳莉;;《算法設(shè)計(jì)與分析》實(shí)踐教學(xué)探討[J];福建電腦;2009年10期

3 穆瑞輝;;計(jì)算機(jī)算法設(shè)計(jì)研究與思考[J];數(shù)字技術(shù)與應(yīng)用;2012年12期

4 潘博;;構(gòu)建“算法設(shè)計(jì)與分析”趣味課堂[J];科教文匯(下旬刊);2013年06期

5 王希常,楊志強(qiáng);一類考場編排算法的設(shè)計(jì)[J];山東師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2002年04期

6 龍騰芳,高金文;“分而治之”方法在算法設(shè)計(jì)中的應(yīng)用[J];渤海大學(xué)學(xué)報(bào)(自然科學(xué)版);2004年01期

7 呂國英;;《算法設(shè)計(jì)與分析》教材建設(shè)的實(shí)施[J];計(jì)算機(jī)教育;2007年19期

8 徐子珊;;“算法設(shè)計(jì)與分析”教學(xué)中理論與技術(shù)的平衡[J];計(jì)算機(jī)教育;2008年10期

9 鄭紅;邵志清;符海波;;“算法設(shè)計(jì)與分析”課程教學(xué)改革初探[J];計(jì)算機(jī)教育;2008年14期

10 高尚;;“算法設(shè)計(jì)與分析”課程改革初探[J];計(jì)算機(jī)教育;2008年14期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前10條

1 雷詠梅;;橢圓曲線密碼體制的算法設(shè)計(jì)與實(shí)現(xiàn)[A];西部大開發(fā) 科教先行與可持續(xù)發(fā)展——中國科協(xié)2000年學(xué)術(shù)年會(huì)文集[C];2000年

2 楊盤洪;朱軍祥;趙建安;楊靜;;機(jī)動(dòng)目標(biāo)跟蹤的模糊變結(jié)構(gòu)交互多模算法[A];2007'中國儀器儀表與測控技術(shù)交流大會(huì)論文集（二）[C];2007年

3 徐子珊;;《算法設(shè)計(jì)與分析》課程中的工程教育[A];2005年全國理論計(jì)算機(jī)科學(xué)學(xué)術(shù)年會(huì)論文集[C];2005年

4 王輝;劉治昌;;用一種新算法設(shè)計(jì)的安全系統(tǒng)[A];2007年中國智能自動(dòng)化會(huì)議論文集[C];2007年

5 舒輝;柳清峰;杜祝平;周蓓;;實(shí)踐教學(xué)模式在本科專業(yè)課程教學(xué)中的應(yīng)用[A];中國電子教育學(xué)會(huì)高教分會(huì)2010年論文集[C];2010年

6 彭小宏;陽東升;劉忠;;基于聚類算法的組織協(xié)作網(wǎng)設(shè)計(jì)[A];2006中國控制與決策學(xué)術(shù)年會(huì)論文集[C];2006年

7 李皓;羅熊;;云存儲部署優(yōu)化的進(jìn)化算法設(shè)計(jì)[A];2013年中國智能自動(dòng)化學(xué)術(shù)會(huì)議論文集（第三分冊）[C];2013年

8 羅長政;李熙瑩;王鎮(zhèn)波;羅東華;;一種大流量交叉路口的背景提取與更新算法[A];第十五屆全國圖象圖形學(xué)學(xué)術(shù)會(huì)議論文集[C];2010年

9 楊利;李霖;昌月樓;陽國貴;;對稱位向量及啟發(fā)式并行散列連接算法[A];數(shù)據(jù)庫研究與進(jìn)展95——第十三屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集[C];1995年

10 張晉;;嵌入式電腦鼠運(yùn)行算法的研究[A];全國第20屆計(jì)算機(jī)技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議（CACIS·2009）暨全國第1屆安全關(guān)鍵技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議論文集（上冊）[C];2009年

中國重要報(bào)紙全文數(shù)據(jù)庫 前1條

1 ;算法設(shè)計(jì)的策略[N];電腦報(bào);2003年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 江立輝;基于干擾對齊的多用戶無線傳輸優(yōu)化方法研究[D];哈爾濱工業(yè)大學(xué);2015年

2 史亞;多核學(xué)習(xí)算法與應(yīng)用研究[D];西安電子科技大學(xué);2015年

3 薛菲;基于蝙蝠算法的啟發(fā)式智能優(yōu)化研究與應(yīng)用[D];北京工業(yè)大學(xué);2016年

4 沈虎;支持干擾管理的無線并發(fā)通信協(xié)議及算法[D];國防科學(xué)技術(shù)大學(xué);2015年

5 張衛(wèi)忠;大規(guī)模稀疏學(xué)習(xí)研究：優(yōu)化算法及其應(yīng)用[D];浙江大學(xué);2017年

6 谷偉哲;齊次光滑算法及其應(yīng)用[D];天津大學(xué);2010年

7 龍海俠;進(jìn)化算法及其在生物信息中的應(yīng)用[D];江南大學(xué);2010年

8 譚躍;具有混沌局部搜索策略的粒子群優(yōu)化算法研究[D];中南大學(xué);2013年

9 尤海峰;求解隱式目標(biāo)優(yōu)化問題的交互式進(jìn)化算法研究[D];中國科學(xué)技術(shù)大學(xué);2011年

10 張常淳;基于MapReduce的大數(shù)據(jù)連接算法的設(shè)計(jì)與優(yōu)化[D];中國科學(xué)技術(shù)大學(xué);2014年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 李欣園;基于選擇偏好的組合聚類算法研究與實(shí)現(xiàn)[D];內(nèi)蒙古大學(xué);2015年

2 楊瀟;界約束非線性最小二乘問題的無導(dǎo)數(shù)算法[D];上海交通大學(xué);2015年

3 王曉璐;基于Zynq的LS-SVM算法加速器設(shè)計(jì)[D];哈爾濱工業(yè)大學(xué);2015年

4 樓磊磊;醫(yī)療保險(xiǎn)數(shù)據(jù)異常行為檢測算法和系統(tǒng)[D];浙江大學(xué);2015年

5 齊海龍;基于改進(jìn)人工蜂群算法的非線性系統(tǒng)辨識方法研究[D];北京化工大學(xué);2015年

6 蔡平梅;結(jié)構(gòu)化稀疏信號的恢復(fù)算法研究[D];上海大學(xué);2015年

7 趙晨陽;基于蟻群算法的高階圖匹配方法研究[D];西安電子科技大學(xué);2014年

8 茍清松;多目標(biāo)粒子濾波檢測前跟蹤算法研究[D];電子科技大學(xué);2015年

9 李枝勇;蝙蝠算法及其在函數(shù)優(yōu)化中的應(yīng)用研究[D];上海理工大學(xué);2013年

10 李蓮;基于蜂群和粗糙集的聚類算法研究[D];長沙理工大學(xué);2014年

，

本文編號：1279104