【摘要】：隨著網(wǎng)絡(luò)信息化技術(shù)快速發(fā)展和煤礦機(jī)械設(shè)備日趨大型化、復(fù)雜化,煤礦設(shè)備的運(yùn)行數(shù)據(jù)規(guī)模不斷地?cái)U(kuò)展,數(shù)據(jù)量從GB級(jí)邁向TB級(jí)甚至PB級(jí),而且數(shù)據(jù)的差異性也越來越大。對(duì)于這種煤礦設(shè)備的海量異構(gòu)數(shù)據(jù),傳統(tǒng)的數(shù)據(jù)分析處理系統(tǒng)已經(jīng)不能滿足數(shù)據(jù)處理和深度挖掘的需求,云計(jì)算技術(shù)可以高效地實(shí)現(xiàn)對(duì)這些問題處理。針對(duì)現(xiàn)有煤礦機(jī)械設(shè)備系統(tǒng)的實(shí)際情況和需求,分析云計(jì)算技術(shù)在工業(yè)化生產(chǎn)中廣泛有效的應(yīng)用,建立了基于Hadoop平臺(tái)的煤礦設(shè)備數(shù)據(jù)處理系統(tǒng),利用平臺(tái)的海量存儲(chǔ)HDFS和分布式計(jì)算Mapreduce技術(shù),實(shí)現(xiàn)對(duì)這些海量級(jí)數(shù)據(jù)的處理、分析和深度挖掘。首先,針對(duì)煤礦設(shè)備海量異構(gòu)格式的數(shù)據(jù)需要規(guī)范化描述問題,設(shè)計(jì)了用XML數(shù)據(jù)格式做為多樣化海量數(shù)據(jù)的一種應(yīng)用標(biāo)準(zhǔn),分析元數(shù)據(jù)抽取和關(guān)系—映射模型技術(shù),實(shí)現(xiàn)對(duì)煤礦設(shè)備異構(gòu)數(shù)據(jù)的規(guī)范化描述。其次,在實(shí)驗(yàn)室環(huán)境下搭建了Linux集群和Hadoop集群的平臺(tái),建立基于Hadoop的煤礦設(shè)備系統(tǒng)數(shù)據(jù)處理系統(tǒng),并對(duì)平臺(tái)所用到HDFS技術(shù)和分布式計(jì)算Mapreduce技術(shù)進(jìn)行了詳細(xì)分析,實(shí)現(xiàn)對(duì)煤礦設(shè)備數(shù)據(jù)的海量存儲(chǔ)和高效計(jì)算。最后,在Hadoop平臺(tái)上建立對(duì)煤礦設(shè)備振動(dòng)數(shù)據(jù)進(jìn)行特征值提取和異常點(diǎn)清洗的整體架構(gòu),并提出了相應(yīng)的Mapreduce算法,可以有效地實(shí)現(xiàn)對(duì)煤礦機(jī)械設(shè)備振動(dòng)數(shù)據(jù)的處理。通過利用該系統(tǒng)平臺(tái)對(duì)設(shè)備數(shù)據(jù)進(jìn)行HDFS的讀寫和Mapreduce處理等性能測試,結(jié)果表明,Hadoop平臺(tái)系統(tǒng)能夠正常高效運(yùn)行。因此,基于Hadoop的煤礦設(shè)備數(shù)據(jù)處理系統(tǒng)能夠?yàn)槊旱V設(shè)備維護(hù)提供很好的技術(shù)支持。
[Abstract]:With the rapid development of network information technology and the increasingly large-scale and complex of coal mine machinery and equipment, the operation data scale of coal mine equipment is constantly expanding, and the data volume is moving from GB level to TB level or even PB level, and the difference of data is becoming larger and larger. For the massive heterogeneous data of this kind of coal mine equipment, the traditional data analysis and processing system can no longer meet the demand of data processing and deep mining. Cloud computing technology can effectively deal with these problems. According to the actual situation and demand of the existing coal mine mechanical equipment system, this paper analyzes the wide and effective application of cloud computing technology in industrial production, and establishes a coal mine equipment data processing system based on Hadoop platform. The massive storage HDFS and distributed computing Mapreduce technology of the platform are used to realize the processing, analysis and deep mining of these magnanimous data. First of all, aiming at the problem that the data of massive heterogeneous format of coal mine equipment needs to be standardized, this paper designs an application standard of using XML data format as a kind of diversified mass data, analyzes metadata extraction and relational mapping model technology. The standard description of heterogeneous data of coal mine equipment is realized. Secondly, the platform of Linux cluster and Hadoop cluster is built in the laboratory environment, and the data processing system of coal mine equipment system based on Hadoop is established, and the HDFS technology and distributed computing Mapreduce technology used in the platform are analyzed in detail. To realize the massive storage and efficient calculation of coal mine equipment data. Finally, the whole structure of extracting the eigenvalue and cleaning the abnormal points of coal mine equipment vibration data is established on Hadoop platform, and the corresponding Mapreduce algorithm is put forward, which can effectively process the vibration data of coal mine equipment. By using the system platform to test the performance of HDFS reading and writing and Mapreduce processing, the results show that the system can run normally and efficiently. Therefore, the coal mine equipment data processing system based on Hadoop can provide good technical support for coal mine equipment maintenance.
【學(xué)位授予單位】：西安科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TD407;TP311.13

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 尹文波;李茂龍;;淺談加強(qiáng)煤礦設(shè)備管理[J];礦山機(jī)械;2007年05期

2 楊家旺;;淺談煤礦設(shè)備的維修與管理[J];科技創(chuàng)新導(dǎo)報(bào);2009年06期

3 宋雙進(jìn);;煤礦設(shè)備維修管理的發(fā)展趨勢[J];科技風(fēng);2010年14期

4 宋科鵬;;煤礦設(shè)備的采購與管理[J];產(chǎn)業(yè)與科技論壇;2011年02期

5 張靜;;煤礦設(shè)備管理中計(jì)算機(jī)信息化系統(tǒng)的應(yīng)用[J];煤炭技術(shù);2013年10期

6 耿繼國;;煤礦設(shè)備規(guī)范化管理的實(shí)現(xiàn)對(duì)策探討[J];內(nèi)蒙古煤炭經(jīng)濟(jì);2013年10期

7 張良驊;;淺議煤礦設(shè)備的管理與維修[J];設(shè)備維修;1985年04期

8 俞書偉;;煤礦設(shè)備的維修與可靠性[J];煤炭科學(xué)技術(shù);1986年03期

9 祝侃;彭淑卓;;淺談地方煤礦設(shè)備管理[J];山東礦業(yè)學(xué)院學(xué)報(bào);1987年02期

10 忻元愷;英國煤礦設(shè)備的維修及采用的技術(shù)[J];煤礦機(jī)械;1994年01期

相關(guān)會(huì)議論文 前3條

1 馬宏偉;曹現(xiàn)剛;張旭輝;姜俊英;;現(xiàn)代煤礦設(shè)備網(wǎng)絡(luò)化健康維護(hù)系統(tǒng)[A];第七次煤炭科學(xué)技術(shù)大會(huì)文集（下冊）[C];2011年

2 徐新國;尹宜寶;繆廣甫;顏廷民;宋繼安;劉寶明;那毅;崔磊;陳緒清;;煤礦設(shè)備修造廠績效建設(shè)實(shí)踐[A];2009煤炭企業(yè)管理現(xiàn)代化創(chuàng)新成果集[C];2010年

3 王宏斌;崔秋玲;;基于煤礦設(shè)備狀態(tài)監(jiān)測與故障診斷系統(tǒng)淺析[A];第22屆全國煤礦自動(dòng)化與信息化學(xué)術(shù)會(huì)議暨第4屆中國煤礦信息化與自動(dòng)化高層論壇論文集[C];2012年

相關(guān)重要報(bào)紙文章 前6條

1 記者 劉偉 龍先華;六枝特區(qū)煤礦設(shè)備投入工作早安排[N];六盤水日報(bào);2008年

2 劉建民;“煤安”標(biāo)志與煤礦設(shè)備采購合同的關(guān)系[N];中國礦業(yè)報(bào);2012年

3 ;禁止使用和淘汰的煤礦設(shè)備及工藝目錄[N];中國安全生產(chǎn)報(bào);2006年

4 常新英;張家口煤機(jī)使用PTC方案生產(chǎn)領(lǐng)先設(shè)備[N];中國工業(yè)報(bào);2007年

5 王彥祥;武安煤礦設(shè)備采購防患于未然[N];政府采購信息報(bào);2005年

6 本報(bào)記者 杜振杰;以巧破千斤[N];中國煤炭報(bào);2006年

相關(guān)碩士學(xué)位論文 前10條

1 賈曉燕;煤礦設(shè)備圖形資源管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];河北工程大學(xué);2015年

2 陳少龍;基于Hadoop的煤礦設(shè)備數(shù)據(jù)規(guī)范化和清洗的研究[D];西安科技大學(xué);2016年

3 李嘉偉;面向煤礦設(shè)備維護(hù)系統(tǒng)的溫度與壓力監(jiān)測技術(shù)研究[D];西安科技大學(xué);2012年

4 曹志娟;煤礦設(shè)備維修管理研究[D];遼寧工程技術(shù)大學(xué);2009年

5 鄭來偉;基于狀態(tài)監(jiān)測的煤礦設(shè)備維修管理[D];西安科技大學(xué);2009年

6 吳曉蕊;基于RCM的煤礦設(shè)備維修管理系統(tǒng)的研究[D];西安科技大學(xué);2014年

7 程海偉;CZ煤礦設(shè)備管理系統(tǒng)改進(jìn)研究[D];山東大學(xué);2009年

8 劉士杰;煤礦DTY型掛纜車自動(dòng)支撐的研究[D];安徽理工大學(xué);2011年

9 喬杰;基于點(diǎn)檢儀的煤礦設(shè)備管理系統(tǒng)研究與實(shí)現(xiàn)[D];西安科技大學(xué);2013年

10 智文靜;面向煤礦設(shè)備維護(hù)系統(tǒng)的機(jī)械振動(dòng)監(jiān)測技術(shù)研究[D];西安科技大學(xué);2012年

，

本文編號(hào)：2216629