基于自定義RDD的海量遙感圖像并行鑲嵌方法
本文選題:遙感圖像 切入點(diǎn):并行鑲嵌 出處:《地球信息科學(xué)學(xué)報(bào)》2017年10期
【摘要】:圖像鑲嵌是遙感圖像處理中的重要內(nèi)容,在跨區(qū)域遙感圖像分析中發(fā)揮重要作用。為了解決傳統(tǒng)遙感圖像并行算法中存在的計(jì)算節(jié)點(diǎn)利用率低、頻繁數(shù)據(jù)I/O等問題,本文根據(jù)Spark分布式內(nèi)存計(jì)算框架,充分利用Spark利于迭代數(shù)據(jù)處理的優(yōu)勢,提出了一種基于Spark自定義RDD(彈性分布式數(shù)據(jù)集)的并行鑲嵌方法。該方法首先在集群的多個節(jié)點(diǎn)上通過相位相關(guān)法執(zhí)行圖像重疊區(qū)域估計(jì)操作,從而提高了圖像重疊區(qū)域估計(jì)的多節(jié)點(diǎn)并行計(jì)算;然后,通過重寫Spark中RDD的compute和get Partitions方法,自定義針對遙感圖像處理的RDD,并將圖像鑲嵌中的重疊區(qū)域估計(jì)、圖像配準(zhǔn)和圖像融合3個關(guān)鍵步驟作為自定義RDD的Transformation類型的操作算子;最后,通過隱式轉(zhuǎn)換創(chuàng)建自定義RDD,并調(diào)用自定義RDD的操作算子實(shí)現(xiàn)圖像鑲嵌的并行處理。實(shí)驗(yàn)結(jié)果表明,與傳統(tǒng)基于MPI的并行鑲嵌算法相比,該方法在保證圖像鑲嵌效果的基礎(chǔ)上,能夠有效提高大數(shù)據(jù)量的圖像鑲嵌效率。
[Abstract]:Image mosaic is an important part of remote sensing image processing and plays an important role in cross-region remote sensing image analysis.In order to solve the problems of low utilization of computing nodes and frequent data I / O in the traditional parallel algorithm of remote sensing images, this paper makes full use of the advantage of Spark in iterative data processing according to the Spark distributed memory computing framework.A parallel mosaic method based on Spark custom RDD (resilient distributed dataset) is proposed.The method firstly performs the image overlap region estimation operation on multiple nodes of the cluster by phase correlation method, which improves the multi-node parallel computation of the image overlap area estimation, and then rewrites the compute and get Partitions methods of RDD in Spark.The three key steps of image mosaic estimation, image registration and image fusion are used as the Transformation type operators of custom RDD.The custom RDD is created by implicit transformation, and the operation operator of custom RDD is called to realize the parallel processing of image mosaic.The experimental results show that compared with the traditional parallel mosaic algorithm based on MPI, this method can effectively improve the image mosaic efficiency of large amount of data on the basis of guaranteeing the image mosaic effect.
【作者單位】: 東北林業(yè)大學(xué)信息與計(jì)算機(jī)工程學(xué)院;
【基金】:黑龍江省自然基金重點(diǎn)項(xiàng)目(ZD201403)
【分類號】:TP751
【相似文獻(xiàn)】
相關(guān)期刊論文 前10條
1 李偉;;遙感圖像中的道路提取[J];自動化博覽;2006年05期
2 李傳龍;李穎;馬龍;;一種新的遙感圖像海岸線檢測方法[J];計(jì)算機(jī)仿真;2010年08期
3 張學(xué)良;肖鵬峰;馮學(xué)智;;基于圖像內(nèi)容層次表征的遙感圖像分割方法[J];中國圖象圖形學(xué)報(bào);2012年01期
4 秦其明;遙感圖像自動解譯面臨的問題與解決的途徑[J];測繪科學(xué);2000年02期
5 陳小琪;現(xiàn)代計(jì)算機(jī)印前制版技術(shù)在遙感圖像印制中的應(yīng)用研究——以《長江經(jīng)濟(jì)帶可持續(xù)發(fā)展地圖集》為例[J];地球信息科學(xué);2000年02期
6 鄧湘金,彭海良;一種基于遙感圖像的機(jī)場檢測方法[J];測試技術(shù)學(xué)報(bào);2002年02期
7 余杰千,方濤,陳雍業(yè);一種有效的遙感圖像無縫分割方法[J];計(jì)算機(jī)應(yīng)用;2003年12期
8 吳為祿;遙感圖像中的云層消除處理[J];鐵路航測;2003年01期
9 于輝,徐軍;彩色遙感圖像目標(biāo)提取方法研究[J];遙感技術(shù)與應(yīng)用;2003年06期
10 黃勇杰,王樹國,劉俊義,陳東;遙感圖像去云算法研究[J];儀器儀表學(xué)報(bào);2003年S2期
相關(guān)會議論文 前10條
1 張鳳春;董增壽;劉明君;;基于局部方差均衡的遙感圖像增強(qiáng)方法[A];第六屆全國信息獲取與處理學(xué)術(shù)會議論文集(2)[C];2008年
2 鄧冰;林宗堅(jiān);彭曉東;;遙感圖像信息度量的原理與方法[A];《測繪通報(bào)》測繪科學(xué)前沿技術(shù)論壇摘要集[C];2008年
3 江興方;江鴻;何賢強(qiáng);;遙感圖像兩種半自動拼接方法的研究[A];全國農(nóng)業(yè)遙感技術(shù)研討會論文集[C];2009年
4 羅睿;張永生;范永弘;鄧雪清;;遙感圖像基于內(nèi)容查詢的研究與實(shí)踐[A];第十三屆全國遙感技術(shù)學(xué)術(shù)交流會論文摘要集[C];2001年
5 陳東;龐怡杰;黃勇杰;;大傾斜航空遙感圖像快速自動鑲嵌技術(shù)[A];圖像 仿真 信息技術(shù)——第二屆聯(lián)合學(xué)術(shù)會議論文集[C];2002年
6 黃勇杰;王樹國;劉俊義;陳東;;遙感圖像去云算法研究[A];首屆信息獲取與處理學(xué)術(shù)會議論文集[C];2003年
7 謝建春;趙榮椿;;遙感圖像中的軍用機(jī)場識別算法研究[A];信號與信息處理技術(shù)第三屆信號與信息處理全國聯(lián)合學(xué)術(shù)會議論文集[C];2004年
8 陳姚;王金亮;李石華;;遙感圖像中云層遮擋影響消除處理方法研究述評[A];第十五屆全國遙感技術(shù)學(xué)術(shù)交流會論文摘要集[C];2005年
9 張磊;朱磊;;遙感圖像中直線目標(biāo)的檢測[A];第十五屆全國遙感技術(shù)學(xué)術(shù)交流會論文摘要集[C];2005年
10 邱磊;李國輝;衡祥安;;一種基于交互學(xué)習(xí)的遙感圖像挖掘方法[A];第一屆建立和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會議(HHME2005)論文集[C];2005年
相關(guān)重要報(bào)紙文章 前5條
1 蔣建科邋孫宏金 陳樹琛;傳回清晰遙感圖像[N];人民日報(bào);2008年
2 記者 鄭千里;北京地區(qū)有了航空遙感圖像[N];科技日報(bào);2000年
3 本報(bào)通訊員;煤航遙感院獲美國快鳥遙感圖像西部代理權(quán)[N];中煤地質(zhì)報(bào);2005年
4 王石;印度通過“快鳥”影像發(fā)現(xiàn)古墓地[N];中國測繪報(bào);2010年
5 記者 馬彥平 張桂敏;澳大利亞鉀礦鉆探啟動[N];農(nóng)資導(dǎo)報(bào);2011年
相關(guān)博士學(xué)位論文 前10條
1 朱光;基于遙感圖像的交通道路目標(biāo)識別方法研究[D];吉林大學(xué);2015年
2 祁友杰;基于SoC技術(shù)的遙感圖像快速匹配方法研究[D];東南大學(xué);2016年
3 霍麗君;基于變分的遙感圖像恢復(fù)算法研究[D];中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所;2017年
4 陳彥彤;基于局部不變特征的遙感圖像星上目標(biāo)識別技術(shù)研究[D];中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所;2017年
5 江興方;遙感圖像去云方法的研究及其應(yīng)用[D];南京理工大學(xué);2007年
6 滕鑫鵬;遙感圖像道路提取研究[D];江蘇大學(xué);2014年
7 劉春紅;超光譜遙感圖像降維及分類方法研究[D];哈爾濱工程大學(xué);2005年
8 劉哲;基于信息融合的遙感圖像處理方法研究[D];西北工業(yè)大學(xué);2002年
9 強(qiáng)贊霞;遙感圖像的融合及應(yīng)用[D];華中科技大學(xué);2005年
10 杜根遠(yuǎn);海量遙感圖像內(nèi)容檢索關(guān)鍵技術(shù)研究[D];成都理工大學(xué);2011年
相關(guān)碩士學(xué)位論文 前10條
1 邱磊;基于內(nèi)容的遙感圖像挖掘方法研究[D];國防科學(xué)技術(shù)大學(xué);2005年
2 陳浩;高分辨遙感圖像災(zāi)區(qū)建筑檢測[D];南京理工大學(xué);2015年
3 朱然;大數(shù)據(jù)量復(fù)雜背景下橋梁水壩目標(biāo)快速識別[D];電子科技大學(xué);2015年
4 王靜靜;基于NSCT和Shearlet變換的遙感圖像增強(qiáng)研究[D];新疆大學(xué);2014年
5 柴宏磊;基于知識的遙感圖像港口目標(biāo)識別[D];電子科技大學(xué);2015年
6 馮一鳴;基于遙感圖像中港口目標(biāo)的分割算法研究與實(shí)現(xiàn)[D];西安電子科技大學(xué);2014年
7 吳云坤;遙感圖像變化檢測技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2013年
8 王旭;無參考遙感圖像質(zhì)量綜合評價(jià)算法研究[D];西安電子科技大學(xué);2015年
9 宋玉梅;基于遙感圖像的內(nèi)河航道識別研究[D];重慶交通大學(xué);2015年
10 張少輝;基于刃邊法的遙感圖像重建方法研究[D];西安電子科技大學(xué);2014年
,本文編號:1713562
本文鏈接:http://sikaile.net/guanlilunwen/gongchengguanli/1713562.html