本文選題：Spark　切入點：容器　出處：《計算機應(yīng)用》2017年12期

【摘要】：Spark計算框架被越來越多的企業(yè)用作大數(shù)據(jù)分析的框架,由于通常部署在分布式和云環(huán)境中因此增加了該系統(tǒng)的復(fù)雜性,對Spark框架的性能進行監(jiān)控并查找導(dǎo)致性能下降的作業(yè)向來是非常困難的問題。針對此問題,提出并編寫了一種針對分布式容器環(huán)境中Spark性能的實時監(jiān)控與分析方法。首先,通過在Spark中植入代碼和監(jiān)控Docker容器中的API文件獲取并整合了作業(yè)運行時資源消耗信息;然后,基于Spark作業(yè)歷史信息,訓(xùn)練了高斯混合模型(GMM);最后,使用訓(xùn)練后的模型對Spark作業(yè)的運行時資源消耗信息進行分類并找出導(dǎo)致性能下降的作業(yè)。實驗結(jié)果表明,所提方法能檢測出90.2%的異常作業(yè),且其對Spark作業(yè)性能的影響僅有4.7%。該方法能減輕查錯的工作量,幫助用戶更快地發(fā)現(xiàn)Spark的異常作業(yè)。
[Abstract]:The Spark computing framework is used by more and more enterprises as the framework for big data analysis, which adds to the complexity of the system because it is usually deployed in distributed and cloud environments. It has always been very difficult to monitor the performance of Spark framework and find jobs that lead to performance degradation. In order to solve this problem, a real-time monitoring and analysis method for Spark performance in distributed container environment is proposed and written. Through embedding code in Spark and monitoring API files in Docker container, the information of resource consumption at job run time is obtained and integrated. Then, Gao Si mixed model is trained based on Spark job history information. Using the trained model to classify the resource consumption information of the Spark jobs and find out the jobs that lead to the deterioration of the performance. The experimental results show that the proposed method can detect 90.2% abnormal jobs, and the results of the experiments show that the proposed method can detect 90.2% of the abnormal jobs. This method can reduce the workload of error detection and help users to find abnormal jobs of Spark more quickly.
【作者單位】： 同濟大學(xué)計算機科學(xué)與技術(shù)系;嵌入式系統(tǒng)與服務(wù)計算教育部重點實驗室(同濟大學(xué));
【分類號】：TP18;TP277

【相似文獻】

相關(guān)期刊論文 前10條

1 馬繼涌,高文;一種基于最小誤分率估計高斯混合模型參數(shù)的方法[J];計算機學(xué)報;1999年08期

2 張欽禮;王士同;譚左平;;二型Takagi-Sugeno-Kang模糊模型和不確定高斯混合模型的等價性[J];控制理論與應(yīng)用;2009年02期

3 何明;馮博琴;馬兆豐;傅向華;;一種基于高斯混合模型的無監(jiān)督粗糙聚類方法[J];哈爾濱工業(yè)大學(xué)學(xué)報;2006年02期

4 張曉娜;何仁;劉志強;陳士安;倪捷;;基于空間信息高斯混合模型的運動車輛檢測[J];江蘇大學(xué)學(xué)報(自然科學(xué)版);2011年04期

5 胡慶輝;丁立新;陸玉靖;何進榮;;一種快速、魯棒的有限高斯混合模型聚類算法[J];計算機科學(xué);2013年08期

6 房勝;鐘玉琢;;一種基于高斯混合模型的視頻監(jiān)控運動物體提取系統(tǒng)[J];計算機科學(xué);2005年12期

7 張磊;李行善;于勁松;代京;;一種基于高斯混合模型粒子濾波的故障預(yù)測算法[J];航空學(xué)報;2009年02期

8 陶新民;曹盼東;宋少宇;付丹丹;;基于半監(jiān)督高斯混合模型核的支持向量機分類算法[J];信息與控制;2013年01期

9 張虹;任玉升;;利用高斯混合模型進行煙氣黑度智能檢測[J];環(huán)境污染與防治;2008年07期

10 胡波;朱谷昌;張遠(yuǎn)飛;冷超;;基于高斯混合模型的遙感信息提取方法研究[J];國土資源遙感;2012年04期

相關(guān)會議論文 前10條

1 駱俊;馬盡文;;高斯混合模型的遺傳分基融合算法[A];第十二屆全國信號處理學(xué)術(shù)年會（CCSP-2005）論文集[C];2005年

2 王玨;;歸納機器學(xué)習(xí)[A];2001年中國智能自動化會議論文集（上冊）[C];2001年

3 吳滄浦;;智能系統(tǒng)與機器學(xué)習(xí)的新領(lǐng)域[A];西部大開發(fā) 科教先行與可持續(xù)發(fā)展——中國科協(xié)2000年學(xué)術(shù)年會文集[C];2000年

4 周晴杰;徐立鴻;吳啟迪;;機器學(xué)習(xí)串級結(jié)構(gòu)的初步探討[A];1998年中國控制會議論文集[C];1998年

5 李剛;郭崇慧;林鴻飛;楊志豪;唐煥文;;基于詞典法和機器學(xué)習(xí)法相結(jié)合的蛋白質(zhì)名識別[A];大連理工大學(xué)生物醫(yī)學(xué)工程學(xué)術(shù)論文集（第2卷）[C];2005年

6 蔡健平;林世平;;基于機器學(xué)習(xí)的詞語和句子極性分析[A];第三屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會議論文集[C];2007年

7 邢建春;苗朋厚;王平;;工廠生產(chǎn)調(diào)度分布式監(jiān)控系統(tǒng)研究[A];第二十一屆中國控制會議論文集[C];2002年

8 黃金鐵;李景銀;周建常;;對高爐爐況評價模型參數(shù)的機器學(xué)習(xí)——一個三類線性模式分類器的實現(xiàn)[A];1995中國控制與決策學(xué)術(shù)年會論文集[C];1995年

9 吳冬;石中鎖;;多路電壓信號的數(shù)據(jù)采集和分布式監(jiān)控系統(tǒng)的設(shè)計[A];冶金軋制過程自動化技術(shù)交流會論文集[C];2005年

10 程國建;蔡磊;潘華賢;;核向量機在大規(guī)模機器學(xué)習(xí)中的應(yīng)用[A];第十一屆中國青年信息與管理學(xué)者大會論文集[C];2009年

相關(guān)重要報紙文章 前3條

1 IBM大數(shù)據(jù)專家 James Kobielus　范范 編譯;機器學(xué)習(xí)已成為大數(shù)據(jù)基石[N];網(wǎng)絡(luò)世界;2014年

2 本報記者 房琳琳;合久必分：分布式“機器學(xué)習(xí)”應(yīng)運而生[N];科技日報;2014年

3 雨辰;機器學(xué)習(xí)類圖書為什么火爆[N];中華讀書報;2014年

相關(guān)博士學(xué)位論文 前10條

1 羅林;基于數(shù)據(jù)驅(qū)動的非線性過程故障診斷若干問題研究[D];浙江大學(xué);2015年

2 賴裕平;非高斯混合模型的變分學(xué)習(xí)算法研究[D];北京郵電大學(xué);2014年

3 董春茹;機器學(xué)習(xí)中的權(quán)重學(xué)習(xí)與差分演化[D];華南理工大學(xué);2015年

4 姚明臣;機器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中的若干問題研究[D];大連理工大學(xué);2016年

5 杜宇;基于深度機器學(xué)習(xí)的體態(tài)與手勢感知計算關(guān)鍵技術(shù)研究[D];浙江大學(xué);2017年

6 鐘錦紅;群智學(xué)習(xí)若干問題研究[D];中國科學(xué)技術(shù)大學(xué);2017年

7 趙東;基于群智能優(yōu)化的機器學(xué)習(xí)方法研究及應(yīng)用[D];吉林大學(xué);2017年

8 趙玉鵬;機器學(xué)習(xí)的哲學(xué)探索[D];大連理工大學(xué);2010年

9 胡巍;面向格結(jié)構(gòu)的機器學(xué)習(xí)[D];上海交通大學(xué);2009年

10 張義榮;基于機器學(xué)習(xí)的入侵檢測技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2005年

相關(guān)碩士學(xué)位論文 前10條

1 范苗;基于高斯混合模型的時變過程軟測量建模[D];浙江大學(xué);2015年

2 王炳輝;基于層次貝葉斯自適應(yīng)稀疏的高斯混合模型[D];大連理工大學(xué);2015年

3 張小林;基于高斯混合模型和非負(fù)矩陣分解的復(fù)雜網(wǎng)絡(luò)社區(qū)檢測[D];西安電子科技大學(xué);2014年

4 王春輝;基于高斯混合模型的多源異類交通數(shù)據(jù)融合研究[D];杭州師范大學(xué);2016年

5 孫健芳;基于高斯混合模型的多模態(tài)過程監(jiān)測[D];東北大學(xué);2013年

6 沈樂陽;生物信息學(xué)中的不平衡學(xué)習(xí)新方法研究[D];南京理工大學(xué);2017年

7 鐘鑫;基于邏輯回歸和高斯混合模型的設(shè)備故障診斷技術(shù)研究與應(yīng)用[D];北京化工大學(xué);2010年

8 周紅;基于進化優(yōu)化方法的高斯混合模型在智能數(shù)據(jù)分析中的應(yīng)用[D];華東理工大學(xué);2014年

9 趙曉莎;基于貝葉斯陰陽機的高斯混合模型在手寫在線簽名識別中的應(yīng)用[D];華東理工大學(xué);2015年

10 皮興杰;基于Spark的電網(wǎng)大數(shù)據(jù)統(tǒng)計中等值連接問題的優(yōu)化及其應(yīng)用[D];重慶大學(xué);2016年

，

本文編號：1680579