發(fā)布時間：2017-12-01 21:27

  本文關(guān)鍵詞：面向全基因組的改進(jìn)參數(shù)服務(wù)器研究

  更多相關(guān)文章： 全基因組 參數(shù)服務(wù)器 機(jī)器學(xué)習(xí) FTRL 并行計算

【摘要】：隨著高通量測序成本的逐年下降,針對全基因組數(shù)據(jù)的研究開始火熱發(fā)展。由于數(shù)據(jù)規(guī)模的激增,以往基于傳統(tǒng)統(tǒng)計分析的方法表現(xiàn)出工作量巨大、效率低下等問題,面向全基因組的大規(guī)模機(jī)器學(xué)習(xí)成為研究和發(fā)展的重要方向。面對這一問題,不少組織機(jī)構(gòu)嘗試采用如Hadoop、Spark等通用分布式計算框架,效果并不太理想。效果不理想的主要原因在于框架對全基因組機(jī)器學(xué)習(xí)問題的適用性不佳。因此,本文提出了采用基于參數(shù)服務(wù)器的分布式計算架構(gòu)來應(yīng)對全基因組機(jī)器學(xué)習(xí)問題。參數(shù)服務(wù)器是近兩年新興的一種分布式機(jī)器學(xué)習(xí)框架的抽象,目前在大型廣告系統(tǒng)和人工智能系統(tǒng)中有著深入的應(yīng)用。這種概念最早于2010年由Alex Smola在其設(shè)計的并行LDA框架中被提出。在此之后,參數(shù)服務(wù)器于2012年作為Google Brain的解決方案被業(yè)內(nèi)所廣泛關(guān)注。其架構(gòu)的核心設(shè)計是將模型參數(shù)的存儲和更新上升為獨(dú)立組件,并采用異步機(jī)制提升處理能力。通過這種設(shè)計,有效的解決了大規(guī)模機(jī)器學(xué)習(xí)求解過程中參數(shù)收斂非均性所帶來的低效迭代問題,大大減少了在通信、協(xié)調(diào)、等待過程中的資源浪費(fèi)。這種優(yōu)化同時也使得模型求解效率得以真正隨著機(jī)器的增加而能力線性提升,從而為全基因組機(jī)器學(xué)習(xí)問題的解決提供新的思路。本文首先系統(tǒng)闡述分析了全基因組機(jī)器學(xué)習(xí)問題在計算機(jī)技術(shù)上的難點(diǎn),并總結(jié)探討了已有主流分布式計算框架抽象的特點(diǎn)和適用性。然后針對全基因組機(jī)器學(xué)習(xí)效率問題,本文改進(jìn)了傳統(tǒng)參數(shù)服務(wù)器的架構(gòu),引入了FTRL算法,設(shè)計實(shí)現(xiàn)了一種改進(jìn)參數(shù)服務(wù)器模型GW-PS。該模型能引入稀疏性,防止過擬合,從而更好的適應(yīng)全基因組數(shù)據(jù)。在此基礎(chǔ)上,根據(jù)基因序列特異性識別的切實(shí)需求,本文還改進(jìn)了傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),并分別在改進(jìn)參數(shù)服務(wù)器GW-PS和Spark架構(gòu)上進(jìn)行了詳細(xì)的模型訓(xùn)練效率對比。實(shí)驗(yàn)證明,改進(jìn)參數(shù)服務(wù)器GW-PS對于全基因組機(jī)器學(xué)習(xí)問題在效率和性能上都要優(yōu)于傳統(tǒng)的Spark架構(gòu),為參數(shù)服務(wù)器這種最新技術(shù)在生物信息學(xué)問題上的可行性做出了探索。
【學(xué)位授予單位】：云南大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：Q811.4;TP181

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 王玨,石純一;機(jī)器學(xué)習(xí)研究[J];廣西師范大學(xué)學(xué)報(自然科學(xué)版);2003年02期

2 張震;李軍利;;機(jī)器學(xué)習(xí)方法及其在生物信息學(xué)中的應(yīng)用[J];吉首大學(xué)學(xué)報(自然科學(xué)版);2006年04期

3 許程;;機(jī)器學(xué)習(xí)的主要策略與基本結(jié)構(gòu)[J];科技資訊;2010年03期

4 黃蔚;;淺析機(jī)器學(xué)習(xí)及其在教育中的應(yīng)用[J];科技信息;2011年18期

5 曹加恒;湯怡群;姚唐;;機(jī)器學(xué)習(xí)研究[J];武漢大學(xué)學(xué)報(自然科學(xué)版);1988年01期

6 林士敏;機(jī)器學(xué)習(xí)概況[J];廣西師范大學(xué)學(xué)報(自然科學(xué)版);1989年02期

7 盧美律;張渡;;機(jī)器學(xué)習(xí):理論、方法及應(yīng)用[J];科學(xué);1995年02期

8 羅芳;李志亮;;基于分類的機(jī)器學(xué)習(xí)方法中的決策樹算法[J];寧德師專學(xué)報(自然科學(xué)版);2009年01期

9 李鈞濤;楊瑞峰;左紅亮;;統(tǒng)計機(jī)器學(xué)習(xí)研究[J];河南師范大學(xué)學(xué)報(自然科學(xué)版);2010年06期

10 黃健;;何清:挖掘數(shù)據(jù)開啟新知[J];科學(xué)中國人;2013年12期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 王玨;;歸納機(jī)器學(xué)習(xí)[A];2001年中國智能自動化會議論文集（上冊）[C];2001年

2 王昊;李銀波;紀(jì)志梁;;利用機(jī)器學(xué)習(xí)方法預(yù)測嚴(yán)重藥物不良反應(yīng)-呼吸困難[A];中國化學(xué)會第28屆學(xué)術(shù)年會第13分會場摘要集[C];2012年

3 吳滄浦;;智能系統(tǒng)與機(jī)器學(xué)習(xí)的新領(lǐng)域[A];西部大開發(fā) 科教先行與可持續(xù)發(fā)展——中國科協(xié)2000年學(xué)術(shù)年會文集[C];2000年

4 周晴杰;徐立鴻;吳啟迪;;機(jī)器學(xué)習(xí)串級結(jié)構(gòu)的初步探討[A];1998年中國控制會議論文集[C];1998年

5 李剛;郭崇慧;林鴻飛;楊志豪;唐煥文;;基于詞典法和機(jī)器學(xué)習(xí)法相結(jié)合的蛋白質(zhì)名識別[A];大連理工大學(xué)生物醫(yī)學(xué)工程學(xué)術(shù)論文集（第2卷）[C];2005年

6 徐禮勝;李乃民;王寬全;張冬雨;耿斌;姜曉睿;陳超海;羅貴存;;機(jī)器學(xué)習(xí)在中醫(yī)計算機(jī)診斷識別系統(tǒng)中的應(yīng)用思考[A];第一屆全國中西醫(yī)結(jié)合診斷學(xué)術(shù)會議論文選集[C];2006年

7 蔡健平;林世平;;基于機(jī)器學(xué)習(xí)的詞語和句子極性分析[A];第三屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會議論文集[C];2007年

8 黃金鐵;李景銀;周建常;;對高爐爐況評價模型參數(shù)的機(jī)器學(xué)習(xí)——一個三類線性模式分類器的實(shí)現(xiàn)[A];1995中國控制與決策學(xué)術(shù)年會論文集[C];1995年

9 程國建;蔡磊;潘華賢;;核向量機(jī)在大規(guī)模機(jī)器學(xué)習(xí)中的應(yīng)用[A];第十一屆中國青年信息與管理學(xué)者大會論文集[C];2009年

10 張鈸;張鈴;;統(tǒng)計學(xué)習(xí)理論及其應(yīng)用[A];2001年中國智能自動化會議論文集（上冊）[C];2001年

中國重要報紙全文數(shù)據(jù)庫 前10條

1 黎驪/文 [美] Tom M.Mitchell 著;機(jī)器學(xué)習(xí)與智能化社會[N];中國郵政報;2003年

2 IBM大數(shù)據(jù)專家 James Kobielus　范范 編譯;機(jī)器學(xué)習(xí)已成為大數(shù)據(jù)基石[N];網(wǎng)絡(luò)世界;2014年

3 本報記者 房琳琳;合久必分：分布式“機(jī)器學(xué)習(xí)”應(yīng)運(yùn)而生[N];科技日報;2014年

4 雨辰;機(jī)器學(xué)習(xí)類圖書為什么火爆[N];中華讀書報;2014年

5 百度公司技術(shù)副總監(jiān) 多媒體部負(fù)責(zé)人 余凱;深度學(xué)習(xí)與多媒體搜索技術(shù)演進(jìn)[N];中國信息化周報;2013年

6 本報記者 余建斌;機(jī)器學(xué)習(xí)與互聯(lián)網(wǎng)搜索[N];人民日報;2011年

7 本報記者 張曄邋通訊員 李瑋;周志華：永不墨守成規(guī)[N];科技日報;2008年

8 記者　 彭德倩;機(jī)器學(xué)習(xí)精度提升近6個百分點(diǎn)[N];解放日報;2006年

9 本報記者 閔杰;大數(shù)據(jù)熱 高端人才缺[N];中國電子報;2013年

10 沈建苗 編譯;如何成為大數(shù)據(jù)科學(xué)家[N];計算機(jī)世界;2013年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 董春茹;機(jī)器學(xué)習(xí)中的權(quán)重學(xué)習(xí)與差分演化[D];華南理工大學(xué);2015年

2 姚明臣;機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中的若干問題研究[D];大連理工大學(xué);2016年

3 趙玉鵬;機(jī)器學(xué)習(xí)的哲學(xué)探索[D];大連理工大學(xué);2010年

4 胡巍;面向格結(jié)構(gòu)的機(jī)器學(xué)習(xí)[D];上海交通大學(xué);2009年

5 張義榮;基于機(jī)器學(xué)習(xí)的入侵檢測技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2005年

6 錢線;快速精確的結(jié)構(gòu)化機(jī)器學(xué)習(xí)方法研究[D];復(fù)旦大學(xué);2010年

7 梁錫軍;稀疏優(yōu)化在機(jī)器學(xué)習(xí)中的若干應(yīng)用[D];大連理工大學(xué);2013年

8 蔣剛;核機(jī)器學(xué)習(xí)方法若干問題研究[D];西南交通大學(xué);2006年

9 陳慧靈;面向智能決策問題的機(jī)器學(xué)習(xí)方法研究[D];吉林大學(xué);2012年

10 周偉達(dá);核機(jī)器學(xué)習(xí)方法研究[D];西安電子科技大學(xué);2003年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 毛海斌;基于半監(jiān)督機(jī)器學(xué)習(xí)的情感分類領(lǐng)域適應(yīng)問題研究[D];南京理工大學(xué);2015年

2 安軍輝;基于微博數(shù)據(jù)的微博用戶性別判斷研究[D];華中師范大學(xué);2015年

3 陳召陽;基于機(jī)器學(xué)習(xí)的改性麥槽吸附重金屬構(gòu)效關(guān)系模型研究[D];江西理工大學(xué);2014年

4 王成;基于半監(jiān)督機(jī)器學(xué)習(xí)的文本情感分析技術(shù)[D];南京理工大學(xué);2015年

5 孫科;基于Spark的機(jī)器學(xué)習(xí)應(yīng)用框架研究與實(shí)現(xiàn)[D];上海交通大學(xué);2015年

6 劉江龍;基于機(jī)器學(xué)習(xí)的射頻指紋定位方法研究[D];電子科技大學(xué);2015年

7 張蕾;基于機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)輿情采集技術(shù)研究與設(shè)計[D];電子科技大學(xué);2014年

8 施宇;基于數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)的木馬檢測系統(tǒng)設(shè)計與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

9 施應(yīng)敏;基于機(jī)器學(xué)習(xí)的Femtocell信道頻譜與功率資源分配算法的研究[D];南京郵電大學(xué);2015年

10 張柯;基于機(jī)器學(xué)習(xí)的錯誤定位方法研究[D];南京航空航天大學(xué);2015年

，

本文編號：1242542