基于Hadoop的探地雷達數據并行處理方法研究
本文選題:Hadoop + 探地雷達數據; 參考:《系統(tǒng)仿真學報》2017年01期
【摘要】:大數據及云計算等技術帶來的科研方式的轉變影響著探地雷達數據處理領域的研究工作,利用云計算平臺對大規(guī)模探地雷達數據進行了數據解析的研究工作,通過流式處理框架Storm平臺對產生的探地雷達數據進行了數據預處理,解決了探地雷達數據格式與Hadoop平臺數據處理輸入格式不匹配的問題。并在Hadoop平臺下實現(xiàn)了并行化的卷積、反卷積與增益相結合的數據濾波處理,對濾波效果和運行性能指標進行了分析。仿真實驗結果表明,該方法能準確有效地對探地雷達數據進行濾波解析,在運算速度、并行化加速度性能上都較傳統(tǒng)方法有明顯的改善。
[Abstract]:The transformation of scientific research methods brought about by big data and cloud computing technology has affected the research work in the field of GPR data processing, using cloud computing platform to analyze the data of large-scale GPR data.The data of ground penetrating radar (GPR) is preprocessed by flow processing framework (Storm), which solves the mismatch between GPR data format and Hadoop data processing input format.The parallel convolution, deconvolution and gain data filtering are realized on Hadoop platform. The filtering effect and performance index are analyzed.The simulation results show that this method can be used to filter and analyze GPR data accurately and effectively, and the performance of computation speed and parallelization acceleration are obviously improved compared with the traditional method.
【作者單位】: 中國礦業(yè)大學(北京)機電與信息工程學院;
【基金】:國家重大科學儀器設備開發(fā)專項(2012YQ 030126) 核三廢專項科研課題(環(huán)FZ1402-3)
【分類號】:TN957.52
【參考文獻】
相關期刊論文 前2條
1 李貴兵;金煒東;蔣鵬;付小利;熊定鴻;谷鵬舉;;面向大規(guī)模監(jiān)測數據的高鐵故障診斷技術研究[J];系統(tǒng)仿真學報;2014年10期
2 向小軍;高陽;商琳;楊育彬;;基于Hadoop平臺的海量文本分類的并行化[J];計算機科學;2011年10期
【共引文獻】
相關期刊論文 前10條
1 王劉旺;朱永利;賈亞飛;;一種多源海量局部放電信號脈沖的并行提取方法[J];系統(tǒng)仿真學報;2017年01期
2 梁胤程;袁媛;楊峰;;基于Hadoop的探地雷達數據并行處理方法研究[J];系統(tǒng)仿真學報;2017年01期
3 李宏升;顧才東;;云計算大規(guī)模服務器故障診斷平臺的設計[J];現(xiàn)代電子技術;2016年18期
4 朱亞瓊;羅偉;;一種基于動態(tài)調度的數據挖掘并行算法[J];現(xiàn)代電子技術;2016年15期
5 李釗;李曉;王春梅;李誠;楊春;;一種基于MapReduce的文本聚類方法研究[J];計算機科學;2016年01期
6 朱建林;彭鯨橋;楊小平;王倩;;融入詞和文本關系的文本表示模型研究[J];山西大學學報(自然科學版);2015年03期
7 王小林;肖慧;邰偉鵬;;基于Hadoop平臺的文本相似度檢測系統(tǒng)的研究[J];計算機技術與發(fā)展;2015年08期
8 閆威;馬宗民;;基于多謂詞選擇的海量XML數據并行查詢方法[J];小型微型計算機系統(tǒng);2015年07期
9 何敏;武德安;吳磊;;基于MapReduce的平均多項樸素貝葉斯文本分類[J];計算機應用研究;2016年01期
10 梅文涵;楊建喜;;基于大數據的橋梁監(jiān)測信息分類技術研究[J];科技創(chuàng)業(yè)月刊;2015年05期
【二級參考文獻】
相關期刊論文 前10條
1 趙晶晶;楊燕;李天瑞;曾京;魏來;;基于近似熵及EMD的高鐵故障診斷[J];計算機科學;2014年01期
2 徐雅斌;李卓;陳俊伊;;基于改進K最近鄰分類算法的不良網頁并行識別[J];計算機應用;2013年12期
3 劉義;景寧;陳犖;熊偉;;MapReduce框架下基于R-樹的k-近鄰連接算法[J];軟件學報;2013年08期
4 秦娜;金煒東;黃進;茍先太;蔣鵬;;高速列車轉向架故障信號的小波熵特征分析[J];計算機應用研究;2013年12期
5 何華武;;高速鐵路運行安全檢測監(jiān)測與監(jiān)控技術[J];中國鐵路;2013年03期
6 趙成兵;李天瑞;王仲剛;高子U,
本文編號:1748971
本文鏈接:http://sikaile.net/kejilunwen/xinxigongchenglunwen/1748971.html