【摘要】：大數(shù)據(jù)處理系統(tǒng)是大數(shù)據(jù)領(lǐng)域的一個(gè)熱點(diǎn),為此首先研究大數(shù)據(jù)分析平臺(tái)的架構(gòu)與功能,將大數(shù)據(jù)分析平臺(tái)分為數(shù)據(jù)源、數(shù)據(jù)吸收層、數(shù)據(jù)存儲(chǔ)層、平臺(tái)層、安全與監(jiān)控層、設(shè)備層和應(yīng)用層.平臺(tái)包含多個(gè)數(shù)據(jù)預(yù)處理和算法模塊,平臺(tái)架構(gòu)為大數(shù)據(jù)分析了奠定基礎(chǔ).在功能上,該平臺(tái)功能全面,可以自由組合各種操作,模塊之間耦合度低,便于維護(hù)和拓展.在用戶體驗(yàn)上,調(diào)參、建立流程、監(jiān)控、數(shù)據(jù)挖掘過程都是可視的,融合工作流和調(diào)度流技術(shù).在性能上,該平臺(tái)相應(yīng)算法的性能優(yōu)于Hive和MLlib.最后,舉例說明大數(shù)據(jù)挖掘平臺(tái)的應(yīng)用場(chǎng)景.可以對(duì)電網(wǎng)線路故障和氣象數(shù)據(jù)進(jìn)行預(yù)處理,從而對(duì)故障進(jìn)行預(yù)測(cè)和分類,可以通過視頻挖掘組件,對(duì)數(shù)據(jù)分類.
[Abstract]:Big data processing system is a hot spot in the field of big data. Firstly, the architecture and function of big data analysis platform are studied. The big data analysis platform is divided into data source, data absorption layer, data storage layer, platform layer, security and monitoring layer. Device layer and application layer. The platform consists of several data preprocessing and algorithm modules. The platform architecture lays the foundation for big data analysis. In terms of function, the platform has comprehensive function, can combine various operations freely, and has low coupling degree between modules, so it is easy to maintain and expand. In the user experience, the processes of adjusting parameters, establishing flow, monitoring and data mining are all visible, and the workflow and scheduling technologies are integrated. The performance of the algorithm is better than that of Hive and MLlib. Finally, an example is given to illustrate the application scenario of big data mining platform. It can preprocess the line fault and meteorological data of power network, so as to predict and classify the fault, and can classify the data by video mining component.
【作者單位】： 北京郵電大學(xué)智能通信軟件與多媒體北京重點(diǎn)實(shí)驗(yàn)室;北京郵電大學(xué)計(jì)算機(jī)學(xué)院;國網(wǎng)山東省電力公司電力科學(xué)研究院;
【基金】：國家高技術(shù)研究發(fā)展(863)計(jì)劃(2015AA050204) 國網(wǎng)科技項(xiàng)目(520626150032) 北京市教育委員會(huì)共建項(xiàng)目建設(shè)計(jì)劃資助
【分類號(hào)】：TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 劉世平 ,姚玉輝;數(shù)據(jù)挖掘工具的評(píng)判[J];數(shù)字財(cái)富;2003年06期

2 蘇衛(wèi);數(shù)據(jù)挖掘工具的應(yīng)用與標(biāo)準(zhǔn)化[J];計(jì)算機(jī)工程;2004年S1期

3 周宇葵;劉莉;;數(shù)據(jù)挖掘工具能力評(píng)估研究[J];中國中醫(yī)藥現(xiàn)代遠(yuǎn)程教育;2005年12期

4 李逸波;于吉紅;白曉明;;合理選擇數(shù)據(jù)挖掘工具[J];計(jì)算機(jī)與信息技術(shù);2005年06期

5 錢峰;;國內(nèi)數(shù)據(jù)挖掘工具研究綜述[J];情報(bào)雜志;2008年10期

6 劉華;王永慶;;數(shù)據(jù)挖掘工具SAS Enterprise Miner進(jìn)展研究[J];信息系統(tǒng)工程;2013年08期

7 郝先臣,張德干,高光來,趙海;數(shù)據(jù)挖掘工具和應(yīng)用中的問題[J];東北大學(xué)學(xué)報(bào);2001年02期

8 高英明,劉克勤;基于數(shù)據(jù)倉庫的數(shù)據(jù)挖掘工具[J];現(xiàn)代電力;2002年02期

9 周健吉;數(shù)據(jù)挖掘工具的評(píng)判[J];電腦知識(shí)與技術(shù);2004年23期

10 姚毓才;王本年;;數(shù)據(jù)挖掘工具的分類與挖掘[J];計(jì)算機(jī)技術(shù)與發(fā)展;2006年08期

相關(guān)會(huì)議論文 前4條

1 李忍;孫晶;劉令君;;一個(gè)體育比賽技戰(zhàn)術(shù)分析數(shù)據(jù)挖掘工具的設(shè)計(jì)與實(shí)現(xiàn)[A];2007通信理論與技術(shù)新發(fā)展——第十二屆全國青年通信學(xué)術(shù)會(huì)議論文集（上冊(cè)）[C];2007年

2 馬杰;胡海峰;馬玉書;;基于人工神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)挖掘工具[A];第十七屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2000年

3 馬杰;劉月田;胡海峰;馬玉書;;具有多種神經(jīng)網(wǎng)絡(luò)模型的數(shù)據(jù)挖掘工具[A];第十九屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2002年

4 邵華;萬家華;王劍虎;何耀東;張霞;;一個(gè)以用戶為中心的數(shù)據(jù)挖掘工具:Open Miner[A];第十七屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2000年

相關(guān)重要報(bào)紙文章 前2條

1 劉慶;關(guān)于數(shù)據(jù)挖掘工具的討論[N];網(wǎng)絡(luò)世界;2006年

2 ;SAS抗經(jīng)濟(jì)衰退解決方案受青睞[N];中國保險(xiǎn)報(bào);2009年

相關(guān)碩士學(xué)位論文 前8條

1 江凱;基于Hadoop的并行貝葉斯分類算法及工具研究[D];南京大學(xué);2013年

2 郭峰;達(dá)夢(mèng)數(shù)據(jù)挖掘工具的設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2009年

3 徐小蕾;基于組件的數(shù)據(jù)挖掘工具的研究與實(shí)現(xiàn)[D];東華大學(xué);2009年

4 賀偉淞;可視化數(shù)據(jù)挖掘工具的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2005年

5 咸潔敏;高額欠費(fèi)風(fēng)險(xiǎn)用戶預(yù)測(cè)模型的建立與應(yīng)用[D];上海交通大學(xué);2010年

6 郭鑫;基于CRISP-DM的流程可視化數(shù)據(jù)挖掘工具的研究與實(shí)現(xiàn)[D];東華大學(xué);2009年

7 李忍;一個(gè)體育比賽技戰(zhàn)術(shù)分析數(shù)據(jù)挖掘工具的設(shè)計(jì)與實(shí)現(xiàn)[D];北方工業(yè)大學(xué);2008年

8 黃晶晶;機(jī)會(huì)發(fā)現(xiàn)的形式描述與形式建模的研究[D];哈爾濱工程大學(xué);2007年

，

本文編號(hào)：2173424