基于Hadoop的煤炭企業(yè)數(shù)據(jù)共享系統(tǒng)設計
本文選題:煤炭企業(yè) + 云計算; 參考:《煤炭技術(shù)》2017年06期
【摘要】:針對煤炭企業(yè)數(shù)據(jù)處理能力的不足,將云計算技術(shù)應用到煤炭企業(yè)數(shù)據(jù)共享體系中,提出了一個利用Hadoop平臺對煤炭企業(yè)數(shù)據(jù)進行高效共享的系統(tǒng)。首先,介紹了Hadoop平臺及其關(guān)鍵技術(shù);而后建立了應用于煤炭企業(yè)的數(shù)據(jù)共享模型,該模型抽取源數(shù)據(jù)并通過數(shù)據(jù)集成存儲于數(shù)據(jù)倉庫;最后結(jié)合煤炭企業(yè)實際需求,設計了數(shù)據(jù)管理平臺,完成了數(shù)據(jù)集成、模型和并行關(guān)聯(lián)算法的設計。
[Abstract]:Aiming at the shortage of data processing ability of coal enterprises, this paper applies cloud computing technology to the data sharing system of coal enterprises, and puts forward a high efficiency data sharing system based on Hadoop platform.Firstly, the Hadoop platform and its key technologies are introduced, and then a data sharing model is established, which extracts the source data and stores them in the data warehouse through data integration.The data management platform is designed, and the data integration, model and parallel association algorithm are designed.
【作者單位】: 石家莊鐵路職業(yè)技術(shù)學院;
【基金】:河北省高等院校科學技術(shù)研究項目(ZC2016137) 河北省科技計劃項目(15270330) 河北省高等學?茖W技術(shù)研究重點基金項目(ZD2016057)
【分類號】:F426.21;TP311.13
【相似文獻】
相關(guān)期刊論文 前10條
1 逄利華;張錦春;;基于Hadoop的分布式數(shù)據(jù)庫系統(tǒng)[J];辦公自動化;2014年05期
2 鄭瑋;;Hadoop釋放大數(shù)據(jù)潛能[J];軟件和信息服務;2012年10期
3 劉爾凱;崔振東;;基于HADOOP技術(shù) 實現(xiàn)銀行歷史數(shù)據(jù)線上化研究[J];金融電子化;2014年01期
4 鄒群;;一種基于Hadoop的數(shù)字圖書存儲系統(tǒng)設計方案[J];黑龍江史志;2014年01期
5 諶章義;畢偉;向萬紅;王國安;吳愛國;;基于Hadoop的海量電費數(shù)據(jù)處理模型[J];計算機系統(tǒng)應用;2014年05期
6 ;大數(shù)據(jù)不等于Hadoop[J];辦公自動化;2014年06期
7 ;保障Hadoop數(shù)據(jù)安全的十大措施[J];計算機與網(wǎng)絡;2013年08期
8 王峰;雷葆華;;Hadoop分布式文件系統(tǒng)的模型分析[J];電信科學;2010年12期
9 蘇小會;何婧媛;;Hadoop中任務調(diào)度算法的改進[J];電子設計工程;2012年22期
10 林偉偉;;一種改進的Hadoop數(shù)據(jù)放置策略[J];華南理工大學學報(自然科學版);2012年01期
相關(guān)重要報紙文章 前8條
1 本報記者 郭濤;機器大數(shù)據(jù)也離不開Hadoop[N];中國計算機報;2013年
2 本報記者 王星;Hadoop引發(fā)大數(shù)據(jù)之戰(zhàn)[N];電腦報;2012年
3 本報記者 鄒大斌;Hadoop一體機降低大數(shù)據(jù)門檻[N];計算機世界;2012年
4 孫定;云計算、大數(shù)據(jù)與Hadoop[N];計算機世界;2011年
5 樂天 編譯;Hadoop:打開大數(shù)據(jù)之門的金鑰匙[N];計算機世界;2012年
6 范范 編譯;Hadoop用戶可以使用多種搜索引擎[N];網(wǎng)絡世界;2013年
7 波波 編譯;Hadoop、Web 2.0為磁帶帶來新商機[N];網(wǎng)絡世界;2013年
8 本報記者 郭濤;讓更多人能夠使用Hadoop[N];中國計算機報;2012年
相關(guān)博士學位論文 前1條
1 宋亞奇;云平臺下電力設備監(jiān)測大數(shù)據(jù)存儲優(yōu)化與并行處理技術(shù)研究[D];華北電力大學(北京);2016年
相關(guān)碩士學位論文 前10條
1 劉君;基于Hadoop技術(shù)的氣象數(shù)據(jù)采集及數(shù)據(jù)挖掘平臺的研究[D];天津理工大學;2015年
2 譚旭;基于物流數(shù)據(jù)的快遞網(wǎng)絡分析與建模[D];浙江大學;2015年
3 趙偉;基于Hadoop的數(shù)據(jù)挖掘算法并行化研究[D];西南交通大學;2015年
4 趙振崇;基于Hadoop的決策樹挖掘算法的研究[D];蘭州大學;2015年
5 郭凱振;基于Hadoop的分布式計算系統(tǒng)的設計與實現(xiàn)[D];大連海事大學;2015年
6 白亮;基于Hadoop的民航高價值旅客發(fā)現(xiàn)方法研究[D];中國民航大學;2015年
7 席屏;基于Hadoop的視頻大數(shù)據(jù)智能預警系統(tǒng)應用研究[D];江蘇科技大學;2015年
8 董立明;基于HADOOP的分布式推薦引擎[D];復旦大學;2013年
9 陸藝達;基于Hadoop分布式計算框架的垃圾短信群發(fā)檢測系統(tǒng)[D];復旦大學;2013年
10 沈德利;基于Hadoop的密文檢索關(guān)鍵技術(shù)研究[D];西安電子科技大學;2014年
,本文編號:1760604
本文鏈接:http://sikaile.net/gongshangguanlilunwen/1760604.html