本文選題：Spark　切入點(diǎn)：容器　出處：《計(jì)算機(jī)應(yīng)用》2017年12期

【摘要】：Spark計(jì)算框架被越來越多的企業(yè)用作大數(shù)據(jù)分析的框架,由于通常部署在分布式和云環(huán)境中因此增加了該系統(tǒng)的復(fù)雜性,對Spark框架的性能進(jìn)行監(jiān)控并查找導(dǎo)致性能下降的作業(yè)向來是非常困難的問題。針對此問題,提出并編寫了一種針對分布式容器環(huán)境中Spark性能的實(shí)時(shí)監(jiān)控與分析方法。首先,通過在Spark中植入代碼和監(jiān)控Docker容器中的API文件獲取并整合了作業(yè)運(yùn)行時(shí)資源消耗信息;然后,基于Spark作業(yè)歷史信息,訓(xùn)練了高斯混合模型(GMM);最后,使用訓(xùn)練后的模型對Spark作業(yè)的運(yùn)行時(shí)資源消耗信息進(jìn)行分類并找出導(dǎo)致性能下降的作業(yè)。實(shí)驗(yàn)結(jié)果表明,所提方法能檢測出90.2%的異常作業(yè),且其對Spark作業(yè)性能的影響僅有4.7%。該方法能減輕查錯(cuò)的工作量,幫助用戶更快地發(fā)現(xiàn)Spark的異常作業(yè)。
[Abstract]:The Spark computing framework is used by more and more enterprises as the framework for big data analysis, which adds to the complexity of the system because it is usually deployed in distributed and cloud environments. It has always been very difficult to monitor the performance of Spark framework and find jobs that lead to performance degradation. In order to solve this problem, a real-time monitoring and analysis method for Spark performance in distributed container environment is proposed and written. Through embedding code in Spark and monitoring API files in Docker container, the information of resource consumption at job run time is obtained and integrated. Then, Gao Si mixed model is trained based on Spark job history information. Using the trained model to classify the resource consumption information of the Spark jobs and find out the jobs that lead to the deterioration of the performance. The experimental results show that the proposed method can detect 90.2% abnormal jobs, and the results of the experiments show that the proposed method can detect 90.2% of the abnormal jobs. This method can reduce the workload of error detection and help users to find abnormal jobs of Spark more quickly.
【作者單位】： 同濟(jì)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系;嵌入式系統(tǒng)與服務(wù)計(jì)算教育部重點(diǎn)實(shí)驗(yàn)室(同濟(jì)大學(xué));
【分類號】：TP18;TP277

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 馬繼涌,高文;一種基于最小誤分率估計(jì)高斯混合模型參數(shù)的方法[J];計(jì)算機(jī)學(xué)報(bào);1999年08期

2 張欽禮;王士同;譚左平;;二型Takagi-Sugeno-Kang模糊模型和不確定高斯混合模型的等價(jià)性[J];控制理論與應(yīng)用;2009年02期

3 何明;馮博琴;馬兆豐;傅向華;;一種基于高斯混合模型的無監(jiān)督粗糙聚類方法[J];哈爾濱工業(yè)大學(xué)學(xué)報(bào);2006年02期

4 張曉娜;何仁;劉志強(qiáng);陳士安;倪捷;;基于空間信息高斯混合模型的運(yùn)動(dòng)車輛檢測[J];江蘇大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年04期

5 胡慶輝;丁立新;陸玉靖;何進(jìn)榮;;一種快速、魯棒的有限高斯混合模型聚類算法[J];計(jì)算機(jī)科學(xué);2013年08期

6 房勝;鐘玉琢;;一種基于高斯混合模型的視頻監(jiān)控運(yùn)動(dòng)物體提取系統(tǒng)[J];計(jì)算機(jī)科學(xué);2005年12期

7 張磊;李行善;于勁松;代京;;一種基于高斯混合模型粒子濾波的故障預(yù)測算法[J];航空學(xué)報(bào);2009年02期

8 陶新民;曹盼東;宋少宇;付丹丹;;基于半監(jiān)督高斯混合模型核的支持向量機(jī)分類算法[J];信息與控制;2013年01期

9 張虹;任玉升;;利用高斯混合模型進(jìn)行煙氣黑度智能檢測[J];環(huán)境污染與防治;2008年07期

10 胡波;朱谷昌;張遠(yuǎn)飛;冷超;;基于高斯混合模型的遙感信息提取方法研究[J];國土資源遙感;2012年04期

相關(guān)會議論文 前10條

1 駱俊;馬盡文;;高斯混合模型的遺傳分基融合算法[A];第十二屆全國信號處理學(xué)術(shù)年會（CCSP-2005）論文集[C];2005年

2 王玨;;歸納機(jī)器學(xué)習(xí)[A];2001年中國智能自動(dòng)化會議論文集（上冊）[C];2001年

3 吳滄浦;;智能系統(tǒng)與機(jī)器學(xué)習(xí)的新領(lǐng)域[A];西部大開發(fā) 科教先行與可持續(xù)發(fā)展——中國科協(xié)2000年學(xué)術(shù)年會文集[C];2000年

4 周晴杰;徐立鴻;吳啟迪;;機(jī)器學(xué)習(xí)串級結(jié)構(gòu)的初步探討[A];1998年中國控制會議論文集[C];1998年

5 李剛;郭崇慧;林鴻飛;楊志豪;唐煥文;;基于詞典法和機(jī)器學(xué)習(xí)法相結(jié)合的蛋白質(zhì)名識別[A];大連理工大學(xué)生物醫(yī)學(xué)工程學(xué)術(shù)論文集（第2卷）[C];2005年

6 蔡健平;林世平;;基于機(jī)器學(xué)習(xí)的詞語和句子極性分析[A];第三屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會議論文集[C];2007年

7 邢建春;苗朋厚;王平;;工廠生產(chǎn)調(diào)度分布式監(jiān)控系統(tǒng)研究[A];第二十一屆中國控制會議論文集[C];2002年

8 黃金鐵;李景銀;周建常;;對高爐爐況評價(jià)模型參數(shù)的機(jī)器學(xué)習(xí)——一個(gè)三類線性模式分類器的實(shí)現(xiàn)[A];1995中國控制與決策學(xué)術(shù)年會論文集[C];1995年

9 吳冬;石中鎖;;多路電壓信號的數(shù)據(jù)采集和分布式監(jiān)控系統(tǒng)的設(shè)計(jì)[A];冶金軋制過程自動(dòng)化技術(shù)交流會論文集[C];2005年

10 程國建;蔡磊;潘華賢;;核向量機(jī)在大規(guī)模機(jī)器學(xué)習(xí)中的應(yīng)用[A];第十一屆中國青年信息與管理學(xué)者大會論文集[C];2009年

相關(guān)重要報(bào)紙文章 前3條

1 IBM大數(shù)據(jù)專家 James Kobielus　范范 編譯;機(jī)器學(xué)習(xí)已成為大數(shù)據(jù)基石[N];網(wǎng)絡(luò)世界;2014年

2 本報(bào)記者 房琳琳;合久必分：分布式“機(jī)器學(xué)習(xí)”應(yīng)運(yùn)而生[N];科技日報(bào);2014年

3 雨辰;機(jī)器學(xué)習(xí)類圖書為什么火爆[N];中華讀書報(bào);2014年

相關(guān)博士學(xué)位論文 前10條

1 羅林;基于數(shù)據(jù)驅(qū)動(dòng)的非線性過程故障診斷若干問題研究[D];浙江大學(xué);2015年

2 賴裕平;非高斯混合模型的變分學(xué)習(xí)算法研究[D];北京郵電大學(xué);2014年

3 董春茹;機(jī)器學(xué)習(xí)中的權(quán)重學(xué)習(xí)與差分演化[D];華南理工大學(xué);2015年

4 姚明臣;機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中的若干問題研究[D];大連理工大學(xué);2016年

5 杜宇;基于深度機(jī)器學(xué)習(xí)的體態(tài)與手勢感知計(jì)算關(guān)鍵技術(shù)研究[D];浙江大學(xué);2017年

6 鐘錦紅;群智學(xué)習(xí)若干問題研究[D];中國科學(xué)技術(shù)大學(xué);2017年

7 趙東;基于群智能優(yōu)化的機(jī)器學(xué)習(xí)方法研究及應(yīng)用[D];吉林大學(xué);2017年

8 趙玉鵬;機(jī)器學(xué)習(xí)的哲學(xué)探索[D];大連理工大學(xué);2010年

9 胡巍;面向格結(jié)構(gòu)的機(jī)器學(xué)習(xí)[D];上海交通大學(xué);2009年

10 張義榮;基于機(jī)器學(xué)習(xí)的入侵檢測技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2005年

相關(guān)碩士學(xué)位論文 前10條

1 范苗;基于高斯混合模型的時(shí)變過程軟測量建模[D];浙江大學(xué);2015年

2 王炳輝;基于層次貝葉斯自適應(yīng)稀疏的高斯混合模型[D];大連理工大學(xué);2015年

3 張小林;基于高斯混合模型和非負(fù)矩陣分解的復(fù)雜網(wǎng)絡(luò)社區(qū)檢測[D];西安電子科技大學(xué);2014年

4 王春輝;基于高斯混合模型的多源異類交通數(shù)據(jù)融合研究[D];杭州師范大學(xué);2016年

5 孫健芳;基于高斯混合模型的多模態(tài)過程監(jiān)測[D];東北大學(xué);2013年

6 沈樂陽;生物信息學(xué)中的不平衡學(xué)習(xí)新方法研究[D];南京理工大學(xué);2017年

7 鐘鑫;基于邏輯回歸和高斯混合模型的設(shè)備故障診斷技術(shù)研究與應(yīng)用[D];北京化工大學(xué);2010年

8 周紅;基于進(jìn)化優(yōu)化方法的高斯混合模型在智能數(shù)據(jù)分析中的應(yīng)用[D];華東理工大學(xué);2014年

9 趙曉莎;基于貝葉斯陰陽機(jī)的高斯混合模型在手寫在線簽名識別中的應(yīng)用[D];華東理工大學(xué);2015年

10 皮興杰;基于Spark的電網(wǎng)大數(shù)據(jù)統(tǒng)計(jì)中等值連接問題的優(yōu)化及其應(yīng)用[D];重慶大學(xué);2016年

，

本文編號：1680579