基于Hadoop的探地雷達(dá)數(shù)據(jù)并行處理方法研究
本文選題:Hadoop + 探地雷達(dá)數(shù)據(jù)。 參考:《系統(tǒng)仿真學(xué)報(bào)》2017年01期
【摘要】:大數(shù)據(jù)及云計(jì)算等技術(shù)帶來(lái)的科研方式的轉(zhuǎn)變影響著探地雷達(dá)數(shù)據(jù)處理領(lǐng)域的研究工作,利用云計(jì)算平臺(tái)對(duì)大規(guī)模探地雷達(dá)數(shù)據(jù)進(jìn)行了數(shù)據(jù)解析的研究工作,通過(guò)流式處理框架Storm平臺(tái)對(duì)產(chǎn)生的探地雷達(dá)數(shù)據(jù)進(jìn)行了數(shù)據(jù)預(yù)處理,解決了探地雷達(dá)數(shù)據(jù)格式與Hadoop平臺(tái)數(shù)據(jù)處理輸入格式不匹配的問(wèn)題。并在Hadoop平臺(tái)下實(shí)現(xiàn)了并行化的卷積、反卷積與增益相結(jié)合的數(shù)據(jù)濾波處理,對(duì)濾波效果和運(yùn)行性能指標(biāo)進(jìn)行了分析。仿真實(shí)驗(yàn)結(jié)果表明,該方法能準(zhǔn)確有效地對(duì)探地雷達(dá)數(shù)據(jù)進(jìn)行濾波解析,在運(yùn)算速度、并行化加速度性能上都較傳統(tǒng)方法有明顯的改善。
[Abstract]:The transformation of scientific research methods brought about by big data and cloud computing technology has affected the research work in the field of GPR data processing, using cloud computing platform to analyze the data of large-scale GPR data.The data of ground penetrating radar (GPR) is preprocessed by flow processing framework (Storm), which solves the mismatch between GPR data format and Hadoop data processing input format.The parallel convolution, deconvolution and gain data filtering are realized on Hadoop platform. The filtering effect and performance index are analyzed.The simulation results show that this method can be used to filter and analyze GPR data accurately and effectively, and the performance of computation speed and parallelization acceleration are obviously improved compared with the traditional method.
【作者單位】: 中國(guó)礦業(yè)大學(xué)(北京)機(jī)電與信息工程學(xué)院;
【基金】:國(guó)家重大科學(xué)儀器設(shè)備開(kāi)發(fā)專項(xiàng)(2012YQ 030126) 核三廢專項(xiàng)科研課題(環(huán)FZ1402-3)
【分類號(hào)】:TN957.52
【參考文獻(xiàn)】
相關(guān)期刊論文 前2條
1 李貴兵;金煒東;蔣鵬;付小利;熊定鴻;谷鵬舉;;面向大規(guī)模監(jiān)測(cè)數(shù)據(jù)的高鐵故障診斷技術(shù)研究[J];系統(tǒng)仿真學(xué)報(bào);2014年10期
2 向小軍;高陽(yáng);商琳;楊育彬;;基于Hadoop平臺(tái)的海量文本分類的并行化[J];計(jì)算機(jī)科學(xué);2011年10期
【共引文獻(xiàn)】
相關(guān)期刊論文 前10條
1 王劉旺;朱永利;賈亞飛;;一種多源海量局部放電信號(hào)脈沖的并行提取方法[J];系統(tǒng)仿真學(xué)報(bào);2017年01期
2 梁胤程;袁媛;楊峰;;基于Hadoop的探地雷達(dá)數(shù)據(jù)并行處理方法研究[J];系統(tǒng)仿真學(xué)報(bào);2017年01期
3 李宏升;顧才東;;云計(jì)算大規(guī)模服務(wù)器故障診斷平臺(tái)的設(shè)計(jì)[J];現(xiàn)代電子技術(shù);2016年18期
4 朱亞瓊;羅偉;;一種基于動(dòng)態(tài)調(diào)度的數(shù)據(jù)挖掘并行算法[J];現(xiàn)代電子技術(shù);2016年15期
5 李釗;李曉;王春梅;李誠(chéng);楊春;;一種基于MapReduce的文本聚類方法研究[J];計(jì)算機(jī)科學(xué);2016年01期
6 朱建林;彭鯨橋;楊小平;王倩;;融入詞和文本關(guān)系的文本表示模型研究[J];山西大學(xué)學(xué)報(bào)(自然科學(xué)版);2015年03期
7 王小林;肖慧;邰偉鵬;;基于Hadoop平臺(tái)的文本相似度檢測(cè)系統(tǒng)的研究[J];計(jì)算機(jī)技術(shù)與發(fā)展;2015年08期
8 閆威;馬宗民;;基于多謂詞選擇的海量XML數(shù)據(jù)并行查詢方法[J];小型微型計(jì)算機(jī)系統(tǒng);2015年07期
9 何敏;武德安;吳磊;;基于MapReduce的平均多項(xiàng)樸素貝葉斯文本分類[J];計(jì)算機(jī)應(yīng)用研究;2016年01期
10 梅文涵;楊建喜;;基于大數(shù)據(jù)的橋梁監(jiān)測(cè)信息分類技術(shù)研究[J];科技創(chuàng)業(yè)月刊;2015年05期
【二級(jí)參考文獻(xiàn)】
相關(guān)期刊論文 前10條
1 趙晶晶;楊燕;李天瑞;曾京;魏來(lái);;基于近似熵及EMD的高鐵故障診斷[J];計(jì)算機(jī)科學(xué);2014年01期
2 徐雅斌;李卓;陳俊伊;;基于改進(jìn)K最近鄰分類算法的不良網(wǎng)頁(yè)并行識(shí)別[J];計(jì)算機(jī)應(yīng)用;2013年12期
3 劉義;景寧;陳犖;熊偉;;MapReduce框架下基于R-樹(shù)的k-近鄰連接算法[J];軟件學(xué)報(bào);2013年08期
4 秦娜;金煒東;黃進(jìn);茍先太;蔣鵬;;高速列車轉(zhuǎn)向架故障信號(hào)的小波熵特征分析[J];計(jì)算機(jī)應(yīng)用研究;2013年12期
5 何華武;;高速鐵路運(yùn)行安全檢測(cè)監(jiān)測(cè)與監(jiān)控技術(shù)[J];中國(guó)鐵路;2013年03期
6 趙成兵;李天瑞;王仲剛;高子U,
本文編號(hào):1748971
本文鏈接:http://sikaile.net/kejilunwen/xinxigongchenglunwen/1748971.html