【摘要】：隨著機(jī)器學(xué)習(xí)的不斷發(fā)展,眾多機(jī)器學(xué)習(xí)框架源源不斷出現(xiàn)降低了計(jì)算機(jī)從業(yè)人員的學(xué)習(xí)成本,能夠幫助完成許多數(shù)據(jù)分析的任務(wù)。但是,機(jī)器學(xué)習(xí)依然需要系統(tǒng)的專(zhuān)業(yè)技能,搭建一個(gè)機(jī)器學(xué)習(xí)系統(tǒng)存在諸多困難:1)數(shù)據(jù)量大且結(jié)構(gòu)復(fù)雜,處理困難;2)數(shù)據(jù)源存在各種不同的行業(yè)背景,因此各行業(yè)與計(jì)算機(jī)行業(yè)存在很大的專(zhuān)業(yè)差異;3)機(jī)器學(xué)習(xí)的模型和模型超級(jí)參數(shù)沒(méi)有科學(xué)化方法進(jìn)行選擇和調(diào)節(jié),完全憑借人工調(diào)試。針對(duì)以上的三個(gè)問(wèn)題,我們搭建了支持多源大數(shù)據(jù)的云平臺(tái),云平臺(tái)能夠提供簡(jiǎn)單的接口和應(yīng)用以能夠消除計(jì)算機(jī)從業(yè)人員與其他行業(yè)數(shù)據(jù)專(zhuān)家的技術(shù)屏障,既可以幫助非計(jì)算機(jī)從業(yè)人員也能夠輕松進(jìn)行數(shù)據(jù)分析,同時(shí)也可以幫助專(zhuān)業(yè)的從業(yè)人員預(yù)先全面了解數(shù)據(jù)并自動(dòng)選擇模型和調(diào)節(jié)超參。平臺(tái)提供了一站式對(duì)大數(shù)據(jù)的處理和分析,其中包括了 1)利用分布式數(shù)據(jù)處理引擎,通過(guò)對(duì)不同數(shù)據(jù)源結(jié)構(gòu)的分析,以及對(duì)目前機(jī)器學(xué)習(xí)領(lǐng)域主流的數(shù)據(jù)處理方法的抽象,自動(dòng)化了多源大數(shù)據(jù)的切片和處理,從而達(dá)到快速處理結(jié)構(gòu)復(fù)雜的大數(shù)據(jù)問(wèn)題;2)通過(guò)對(duì)對(duì)目前機(jī)器學(xué)習(xí)領(lǐng)域的各類(lèi)機(jī)器學(xué)習(xí)框架的一體化集成,并綜合考慮各類(lèi)框架優(yōu)秀的設(shè)計(jì)思想,將其進(jìn)行多層次、多語(yǔ)言、多模塊化的抽象,使得大大降低各類(lèi)框架的運(yùn)用門(mén)檻的同時(shí)不喪失其強(qiáng)大的算法處理能力,從而大大簡(jiǎn)化機(jī)器學(xué)習(xí)工具以方便非計(jì)算機(jī)人員使用它們;3)設(shè)計(jì)并實(shí)現(xiàn)了自動(dòng)化監(jiān)督性機(jī)器學(xué)習(xí)算法,通過(guò)綜合遺傳算法進(jìn)行模型自動(dòng)化選擇以及貝葉斯優(yōu)化器進(jìn)行超參解空間快速搜索,大大降低整個(gè)機(jī)器學(xué)習(xí)流程空間搜索的時(shí)間復(fù)雜度,而遺傳算法和貝葉斯優(yōu)化器的配合能夠進(jìn)一步保證搜索的獨(dú)立性,從而能夠保證局部最優(yōu)解和全局最優(yōu)解的平衡。
【學(xué)位授予單位】：浙江大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2018
【分類(lèi)號(hào)】：TP181
【圖文】：

一個(gè)分布式系統(tǒng)還能被描述為下列公式構(gòu)成（來(lái)自Ｅｎｓｌｏｗ的模型）［７］：逡逑分布式系統(tǒng)＝分布式硬件＋分布式控制＋分布式數(shù)據(jù)逡逑在圖２－１中展示了邋Ｅｎｓｌｏｗ關(guān)于分布式系統(tǒng)的三維模型，其中的每個(gè)坐標(biāo)代逡逑表了關(guān)于分布式系統(tǒng)不同的維度（硬件，控制和數(shù)據(jù)），而關(guān)于這三個(gè)維度還有下逡逑列詳細(xì)的說(shuō)明：逡逑分布式系統(tǒng)允許范圍逡逑ｊｆ邋Ｍ＇邋？邋￣邋Ｙｉ＂＂邋￣邋｜邐？邋１－１－１－邋ｕ邋１邐■逡逑—邐逡逑Ｈ５邐Ｎ邋１邐［：丨：逡逑Ｈ４邐Ｊ邐丨＂：逡逑Ｈ３邐？？？逡逑Ｈ２邐ｙ逡逑Ｈ１邐Ｆ逡逑邐ｌ邋ｉ邋Ｉ邋Ｉ邋ｌ邐Ｄ６逡逑Ｃ１邋Ｃ２邋Ｃ３邋Ｃ４邐Ｃ５邋Ｃ６邋０１逡逑圖２－１分布式系統(tǒng)構(gòu)成圖逡逑硬件（Ｈａｒｄｗａｒｅ，簡(jiǎn)稱Ｈ）包括以下幾種類(lèi)別：ＨＩ．擁有一個(gè)控制單元的單逡逑ＣＰＵ機(jī)器；Ｈ２．擁有一個(gè)控制單元的擁有多個(gè)ＡＬＵ邋（邏輯計(jì)算單元）的單ＣＰＵ機(jī)逡逑器；Ｈ３．擁有個(gè)浮點(diǎn)運(yùn)算處理器的單ＣＰＵ機(jī)器；Ｈ４．多處理器多ＣＰＵ但只擁逡逑５逡逑

？邐松耦合：即系統(tǒng)與系統(tǒng)，服務(wù)與服務(wù)之間都應(yīng)該互相獨(dú)立，這樣的好處逡逑是能夠盡量減少模塊與模塊的關(guān)系。逡逑圖２－２展示了邋ＳＯＡ的組成成分，從圖中可以看出，ＳＯＡ主要分為了逡逑Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ邋（基礎(chǔ)構(gòu)建），Ｐｒｏｃｅｓｓｅｓ邋（程序集）和邋Ａｒｃｈｉｔｅｃｔｕｒｅ邋（架構(gòu)），其中程逡逑序集又分為元程序和主控這兩個(gè)部分。逡逑ｒ邋ｎ邋１邐１邋ｒ邋ｎ逡逑Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ邐Ｐｒｏｃｅｓｓｅｓ邐Ａｒｃｈｉｔｅｃｔｕｒｅ逡逑ｌ邐ｌ邐ｉ邐ｉ逡逑Ｍｅｔａｐｒｏｃｅｓｓ邋Ｇｏｖｅｒｎａｎｃｅ逡逑ｉ邐ｊ邐ｉ邐ｉ逡逑圖２－２邋ＳＯＡ結(jié)構(gòu)圖逡逑２．３分布式文件系統(tǒng)逡逑分布式文件系統(tǒng)（Ｄｉｓｔｒｉｂｕｔｅｄ邋Ｒｌｅ邋Ｓｙｓｔｅｍ，ＤＦＳ）是典型的邋Ｃ／Ｓ（Ｃｌｉｅｎｔ／Ｓｅｒｖｅｒ，逡逑即用戶端／服務(wù)器）應(yīng)用，其允許客戶端對(duì)數(shù)據(jù)進(jìn)行增刪查改。關(guān)于分布式系統(tǒng)內(nèi)逡逑部其實(shí)是將統(tǒng)一的數(shù)據(jù)分別存儲(chǔ)在分布式集群（多臺(tái)獨(dú)立計(jì)算機(jī)）中。分布式文逡逑件系統(tǒng)與本地文件系統(tǒng)相比，擁有了其無(wú)法具備的數(shù)據(jù)備份、數(shù)據(jù)安全、存儲(chǔ)量逡逑７逡逑

士學(xué)位論文邐第２章相關(guān)理論和技術(shù)介眾多優(yōu)點(diǎn)。逡逑分布式存儲(chǔ)，與傳統(tǒng)網(wǎng)格存儲(chǔ)比起來(lái)，其分散扁平的架構(gòu)模式，便向的擴(kuò)展，也可以切分存儲(chǔ)，提升數(shù)據(jù)訪問(wèn)量等。逡逑２－３所示，對(duì)于常見(jiàn)的ＤＦＳ架構(gòu)，包含以下幾個(gè)部分：逡逑客戶端（Ｃｌｉｅｎｔ）：邋ＤＦＳ的適用對(duì)象，可以對(duì)數(shù)據(jù)進(jìn)行增刪查改的動(dòng)跟蹤器（Ｔｒａｃｋｅｒ）：邋Ｔｒａｃｋｅｒ是ＤＦＳ的協(xié)調(diào)者，負(fù)責(zé)管理所有的ｓｔｏｒａｓｅｒｖｅｒ和ｇｒｏｕｐ，對(duì)數(shù)據(jù)的元信息（目錄結(jié)構(gòu)、節(jié)點(diǎn)信息、冗余信息權(quán)限等）進(jìn)行維護(hù)，負(fù)責(zé)與Ｃｌｉｅｎｔ和Ｓｔｏｒａｇｅ邋Ｓｅｒｖｅｒ進(jìn)行元數(shù)據(jù)的操交互。逡逑存儲(chǔ)服務(wù)器（Ｓｔｏｒａｇｅ邋Ｓｅｒｖｅｒ）：真正存儲(chǔ)數(shù)據(jù)的節(jié)點(diǎn)。逡逑ｃ，，ｅｒｒｔ

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李兵;林文釗;羅崢尹;;基于機(jī)器學(xué)習(xí)的智慧農(nóng)業(yè)決策系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J];信息與電腦(理論版);2018年24期

2 朱輝;;機(jī)器學(xué)習(xí)在企業(yè)級(jí)場(chǎng)景中的實(shí)踐與探討[J];中國(guó)建設(shè)信息化;2018年03期

3 彭傳意;;機(jī)器學(xué)習(xí)——我們?cè)撊绾闻c機(jī)器競(jìng)爭(zhēng)[J];數(shù)字通信世界;2018年01期

4 陳軼翔;埃里克·布倫喬爾森;湯姆·米切爾;;機(jī)器學(xué)習(xí)的能力范圍及其對(duì)勞動(dòng)力的影響[J];世界科學(xué);2018年04期

5 趙長(zhǎng)林;;機(jī)器學(xué)習(xí)即服務(wù)[J];網(wǎng)絡(luò)安全和信息化;2017年10期

6 ;機(jī)器學(xué)習(xí)作用于信息安全的五大頂級(jí)案例[J];網(wǎng)絡(luò)安全和信息化;2018年01期

7 吳承楊;;2018年來(lái)說(shuō)說(shuō)機(jī)器學(xué)習(xí)[J];軟件和集成電路;2018年05期

8 宋雯博;;大數(shù)據(jù)下的機(jī)器學(xué)習(xí)的應(yīng)用趨勢(shì)[J];電腦迷;2018年09期

9 吳煒;孫強(qiáng);;應(yīng)用機(jī)器學(xué)習(xí)加速新材料的研發(fā)[J];中國(guó)科學(xué):物理學(xué) 力學(xué) 天文學(xué);2018年10期

10 宋明成;;機(jī)器學(xué)習(xí)隱私的安全隱患[J];計(jì)算機(jī)與網(wǎng)絡(luò);2018年16期

相關(guān)會(huì)議論文 前10條

1 王玨;;歸納機(jī)器學(xué)習(xí)[A];2001年中國(guó)智能自動(dòng)化會(huì)議論文集（上冊(cè)）[C];2001年

2 王衍魯;張利會(huì);張淑潔;石潔茹;王鵬;;大學(xué)新生學(xué)校適應(yīng)的個(gè)體與環(huán)境因素探究:基于機(jī)器學(xué)習(xí)的考察[A];第二十屆全國(guó)心理學(xué)學(xué)術(shù)會(huì)議--心理學(xué)與國(guó)民心理健康摘要集[C];2017年

3 張長(zhǎng)水;;大數(shù)據(jù)機(jī)器學(xué)習(xí)[A];2015年中國(guó)自動(dòng)化大會(huì)摘要集[C];2015年

4 何琳;侯漢清;;基于標(biāo)引經(jīng)驗(yàn)和機(jī)器學(xué)習(xí)相結(jié)合的多層自動(dòng)分類(lèi)[A];2005年中國(guó)索引學(xué)會(huì)年會(huì)暨學(xué)術(shù)研討會(huì)論文集[C];2005年

5 李剛;郭崇慧;林鴻飛;楊志豪;唐煥文;;基于詞典法和機(jī)器學(xué)習(xí)法相結(jié)合的蛋白質(zhì)名識(shí)別[A];大連理工大學(xué)生物醫(yī)學(xué)工程學(xué)術(shù)論文集（第2卷）[C];2005年

6 徐禮勝;李乃民;王寬全;張冬雨;耿斌;姜曉睿;陳超海;羅貴存;;機(jī)器學(xué)習(xí)在中醫(yī)計(jì)算機(jī)診斷識(shí)別系統(tǒng)中的應(yīng)用思考[A];第一屆全國(guó)中西醫(yī)結(jié)合診斷學(xué)術(shù)會(huì)議論文選集[C];2006年

7 吳滄浦;;智能系統(tǒng)與機(jī)器學(xué)習(xí)的新領(lǐng)域[A];西部大開(kāi)發(fā) 科教先行與可持續(xù)發(fā)展——中國(guó)科協(xié)2000年學(xué)術(shù)年會(huì)文集[C];2000年

8 蔡健平;林世平;;基于機(jī)器學(xué)習(xí)的詞語(yǔ)和句子極性分析[A];第三屆全國(guó)信息檢索與內(nèi)容安全學(xué)術(shù)會(huì)議論文集[C];2007年

9 吳娜;刁聯(lián)旺;;基于機(jī)器學(xué)習(xí)的博弈對(duì)抗模型優(yōu)化框架軟件系統(tǒng)設(shè)計(jì)[A];第六屆中國(guó)指揮控制大會(huì)論文集（上冊(cè)）[C];2018年

10 吳向華;;機(jī)器學(xué)習(xí)在鋼廠能耗分析中的應(yīng)用[A];中國(guó)計(jì)量協(xié)會(huì)冶金分會(huì)2018年會(huì)論文集[C];2018年

相關(guān)重要報(bào)紙文章 前10條

1 本報(bào)駐波士頓記者 侯麗;深入挖掘機(jī)器學(xué)習(xí)潛力[N];中國(guó)社會(huì)科學(xué)報(bào);2019年

2 王方 編譯;菌自何方 機(jī)器學(xué)習(xí)早知道[N];中國(guó)科學(xué)報(bào);2019年

3 CIO.com資深作家 Clint Boulton 編譯 Charles;領(lǐng)先一步:機(jī)器學(xué)習(xí)的10個(gè)成功案例[N];計(jì)算機(jī)世界;2018年

4 Bob Violino 編譯 Charles;盲目冒進(jìn):機(jī)器學(xué)習(xí)的5個(gè)失敗案例[N];計(jì)算機(jī)世界;2018年

5 360 IoT研究院院長(zhǎng) 李康;從機(jī)器學(xué)習(xí)到機(jī)器創(chuàng)造[N];中國(guó)信息化周報(bào);2017年

6 謝靜;機(jī)器學(xué)習(xí)幫助用戶釋放數(shù)據(jù)價(jià)值[N];人民郵電;2018年

7 Mary Branscombe 編譯 范范;關(guān)于機(jī)器學(xué)習(xí)的9大誤區(qū)[N];計(jì)算機(jī)世界;2018年

8 張蓋倫;機(jī)器學(xué)習(xí)界所抵制的，是舊的知識(shí)分享方式[N];科技日?qǐng)?bào);2018年

9 外語(yǔ)教學(xué)與研究出版社基礎(chǔ)教育分社綜合產(chǎn)品部編輯部副主任 張世欽;機(jī)器學(xué)習(xí)賦能編輯出版[N];中國(guó)出版?zhèn)髅缴虉?bào);2018年

10 復(fù)旦大學(xué)社會(huì)學(xué)系 胡安寧;以機(jī)器學(xué)習(xí)方法助力因果推斷[N];中國(guó)社會(huì)科學(xué)報(bào);2018年

相關(guān)博士學(xué)位論文 前10條

1 管月;醫(yī)學(xué)腫瘤影像分類(lèi)算法研究及其在肝癌上的應(yīng)用[D];南京大學(xué);2018年

2 郝小可;基于機(jī)器學(xué)習(xí)的影像遺傳學(xué)分析及其應(yīng)用研究[D];南京航空航天大學(xué);2017年

3 張慶;鈣鈦礦型功能材料的基因組工程研究[D];上海大學(xué);2018年

4 王磊;基于機(jī)器學(xué)習(xí)的藥物—靶標(biāo)相互作用預(yù)測(cè)研究[D];中國(guó)礦業(yè)大學(xué);2018年

5 張慶慶;基于機(jī)器學(xué)習(xí)的文本情感分類(lèi)研究[D];西北工業(yè)大學(xué);2016年

6 竇賢明;機(jī)器學(xué)習(xí)方法在陸地生態(tài)系統(tǒng)碳水通量模擬中的應(yīng)用研究[D];中國(guó)礦業(yè)大學(xué);2018年

7 魯路;基于機(jī)器學(xué)習(xí)優(yōu)化分子對(duì)接篩選腎衰營(yíng)養(yǎng)膠囊有效成分[D];南方醫(yī)科大學(xué);2017年

8 王泉德;機(jī)器學(xué)習(xí)及其在多Agent對(duì)策學(xué)習(xí)中的應(yīng)用研究[D];武漢大學(xué);2005年

9 翁時(shí)鋒;基于機(jī)器學(xué)習(xí)的幾種醫(yī)學(xué)數(shù)據(jù)處理方法研究[D];清華大學(xué);2005年

10 范玉剛;基于Kernel的機(jī)器學(xué)習(xí)在建模與分類(lèi)問(wèn)題的應(yīng)用研究[D];浙江大學(xué);2006年

相關(guān)碩士學(xué)位論文 前10條

1 毛小旺;基于機(jī)器學(xué)習(xí)的哭聲檢測(cè)系統(tǒng)研究與開(kāi)發(fā)[D];南京郵電大學(xué);2018年

2 張文一;基于機(jī)器學(xué)習(xí)的松毛蟲(chóng)發(fā)生面積預(yù)測(cè)模型的研究及應(yīng)用[D];東北林業(yè)大學(xué);2017年

3 田瑤瑤;基于機(jī)器學(xué)習(xí)的機(jī)電系統(tǒng)關(guān)鍵部件PHM技術(shù)研究[D];南京航空航天大學(xué);2018年

4 趙懷玉;基于機(jī)器學(xué)習(xí)建立腹部大手術(shù)精細(xì)化營(yíng)養(yǎng)支持策略的研究[D];北京協(xié)和醫(yī)學(xué)院;2018年

5 李舒;逃避攻擊及其在中文垃圾短信過(guò)濾中的應(yīng)用[D];南京郵電大學(xué);2018年

6 朱傳帥;Pmn2_1-BAlNP第一性原理與機(jī)器學(xué)習(xí)研究[D];西安電子科技大學(xué);2018年

7 郭蕭;基于機(jī)器學(xué)習(xí)算法的智慧農(nóng)業(yè)決策系統(tǒng)研究[D];西安電子科技大學(xué);2018年

8 高帥;基于機(jī)器學(xué)習(xí)的掃視路徑估計(jì)方法研究[D];西安電子科技大學(xué);2018年

9 惠冰;基于Hadoop平臺(tái)的機(jī)器學(xué)習(xí)分類(lèi)算法[D];西安電子科技大學(xué);2018年

10 杜婷;基于機(jī)器學(xué)習(xí)的角膜炎圖像輔助診斷研究與實(shí)現(xiàn)[D];西安電子科技大學(xué);2018年

本文編號(hào)：2806245