基于Spark平臺的遙感圖像處理研究
發(fā)布時間:2021-11-15 00:00
隨著遙感圖像處理技術的不斷發(fā)展,遙感圖像處理方式從傳統(tǒng)的人工目視解譯、單機處理向著算法智能化、分布式集群處理方向發(fā)展。本文基于分布式內(nèi)存計算框架Spark,深入研究了分布式環(huán)境下遙感圖像并行化處理問題,設計了一種分布式遙感圖像存儲管理方式,提出了一種并行化的遙感圖像場景分類算法,最后設計構建了基于Spark平臺的遙感圖像處理系統(tǒng)。本文主要研究內(nèi)容如下:(1)基于分布式存儲系統(tǒng)進行遙感圖像存儲管理。本文采用分布式文件系統(tǒng)HDFS進行原始遙感圖像數(shù)據(jù)的一級存儲,保證圖像數(shù)據(jù)的安全可靠,避免對原始數(shù)據(jù)的破壞性修改。在此基礎之上,通過HBase面向列式的非關系型數(shù)據(jù)庫,對遙感圖像數(shù)據(jù)進行二級存儲,設計了面向列式的遙感圖像數(shù)據(jù)劃分策略,對大尺度遙感圖像數(shù)據(jù)進行數(shù)據(jù)劃分,統(tǒng)一存儲于HBase中,完成了遙感圖像數(shù)據(jù)的分布式存儲管理功能。(2)基于分布式環(huán)境下遙感圖像場景分類問題的并行化研究。本文通過研究分布式環(huán)境下遙感圖像場景分類問題,提出了基于人工信息特征SURF和深度學習語義特征的遙感圖像場景分類并行算法。首先對于遙感圖像數(shù)據(jù)提取SURF特征,采用VLAD算法重編碼形成規(guī)范化的特征信息;然后采用...
【文章來源】:蘭州交通大學甘肅省
【文章頁數(shù)】:63 頁
【學位級別】:碩士
【部分圖文】:
全球衛(wèi)星遙感產(chǎn)業(yè)規(guī)模變化
基于Spark平臺的遙感圖像處理研究-16-遙感圖像場景判別提供信息依據(jù)。如圖3.4所示,對于不同的遙感圖像場景內(nèi)容,從目視角度可以清楚看到產(chǎn)生有不同的特征描述點信息。圖3.2遙感圖像尺度空間構建示意圖圖3.3SURF特征描述示意圖圖3.4部分遙感圖像SURF特征示意圖為了增強SURF特征的信息表達能力,形成規(guī)則化的特征描述信息,本文對提取到的SURF特征采用VLAD[42]算法進行特征重編碼,在保留特征信息的同時,降低SURF特征的復雜度,從而形成規(guī)則化的人工特征信息。首先采用KMeans聚類算法對提取到的SURF特征重新進行訓練,獲取到碼本信息,然后按照3.4式,將每幅圖像的SURF特征按照最近鄰原則分配到K個聚類中心上,之后對每個聚類中心,按照3.5式計算殘差和,最后將所有的vi向量串接在一起,并按照3.6式做l2歸一化處理,從而得到最終規(guī)則化的編碼特征。經(jīng)過VLAD算法重新編碼之后的特征在保留原有SURF特征信息量的同時,形成更為規(guī)則化的特征描述,從而能夠更好地適用于遙感圖像場景判別。()argmin||||kiikuNNx=xu(3.4)
基于Spark平臺的遙感圖像處理研究-16-遙感圖像場景判別提供信息依據(jù)。如圖3.4所示,對于不同的遙感圖像場景內(nèi)容,從目視角度可以清楚看到產(chǎn)生有不同的特征描述點信息。圖3.2遙感圖像尺度空間構建示意圖圖3.3SURF特征描述示意圖圖3.4部分遙感圖像SURF特征示意圖為了增強SURF特征的信息表達能力,形成規(guī)則化的特征描述信息,本文對提取到的SURF特征采用VLAD[42]算法進行特征重編碼,在保留特征信息的同時,降低SURF特征的復雜度,從而形成規(guī)則化的人工特征信息。首先采用KMeans聚類算法對提取到的SURF特征重新進行訓練,獲取到碼本信息,然后按照3.4式,將每幅圖像的SURF特征按照最近鄰原則分配到K個聚類中心上,之后對每個聚類中心,按照3.5式計算殘差和,最后將所有的vi向量串接在一起,并按照3.6式做l2歸一化處理,從而得到最終規(guī)則化的編碼特征。經(jīng)過VLAD算法重新編碼之后的特征在保留原有SURF特征信息量的同時,形成更為規(guī)則化的特征描述,從而能夠更好地適用于遙感圖像場景判別。()argmin||||kiikuNNx=xu(3.4)
【參考文獻】:
期刊論文
[1]基于深度學習的場景識別方法綜述[J]. 李新葉,朱婧,麻麗娜. 計算機工程與應用. 2020(05)
[2]遙感衛(wèi)星大數(shù)據(jù)產(chǎn)業(yè)化應用[J]. 傅俏燕,隋正偉,龔亞麗. 衛(wèi)星應用. 2019(10)
[3]分布式并行遙感圖像處理中的數(shù)據(jù)劃分[J]. 王玉坤. 電子技術與軟件工程. 2019(14)
[4]圖像場景分類技術綜述[J]. 田艷玲,張維桐,張鍥石,路綱,吳曉軍. 電子學報. 2019(04)
[5]基于Apache Spark的海量圖像并行檢索[J]. 曹健,張俊杰,李海生,蔡強. 計算機應用. 2018(S2)
[6]遙感大數(shù)據(jù)時代與智能信息提取[J]. 張兵. 武漢大學學報(信息科學版). 2018(12)
[7]基于分布式云架構的航天遙感大數(shù)據(jù)處理技術[J]. 楊峰,李津,李鵬程. 電子信息對抗技術. 2018(04)
[8]Spark性能優(yōu)化技術研究綜述[J]. 廖湖聲,黃珊珊,徐俊剛,劉仁峰. 計算機科學. 2018(07)
[9]Spark并行計算框架的內(nèi)存優(yōu)化[J]. 廖旺堅,黃永峰,包從開. 計算機工程與科學. 2018(04)
[10]深度學習方法用于遙感圖像處理的研究進展[J]. 羅仙仙,曾蔚,陳小瑜,張東水,莊世芳. 泉州師范學院學報. 2017(06)
博士論文
[1]內(nèi)存計算框架性能優(yōu)化關鍵技術研究[D]. 卞琛.新疆大學 2017
[2]高分辨率光學遙感圖像場景理解關鍵技術研究[D]. 姚西文.西北工業(yè)大學 2016
碩士論文
[1]基于GPU的Spark計算框架性能模型研究[D]. 吳夢玲.華南理工大學 2019
[2]Ceph異構存儲優(yōu)化機制研究[D]. 姚朋成.重慶郵電大學 2019
[3]Spark下遙感影像分類加速研究[D]. 黃震.新疆大學 2018
[4]遙感大數(shù)據(jù)存儲管理方法及交互可視化實現(xiàn)研究[D]. 余潔.中國礦業(yè)大學 2018
[5]遙感大數(shù)據(jù)的存儲與應用研究[D]. 周杰民.華中科技大學 2017
本文編號:3495618
【文章來源】:蘭州交通大學甘肅省
【文章頁數(shù)】:63 頁
【學位級別】:碩士
【部分圖文】:
全球衛(wèi)星遙感產(chǎn)業(yè)規(guī)模變化
基于Spark平臺的遙感圖像處理研究-16-遙感圖像場景判別提供信息依據(jù)。如圖3.4所示,對于不同的遙感圖像場景內(nèi)容,從目視角度可以清楚看到產(chǎn)生有不同的特征描述點信息。圖3.2遙感圖像尺度空間構建示意圖圖3.3SURF特征描述示意圖圖3.4部分遙感圖像SURF特征示意圖為了增強SURF特征的信息表達能力,形成規(guī)則化的特征描述信息,本文對提取到的SURF特征采用VLAD[42]算法進行特征重編碼,在保留特征信息的同時,降低SURF特征的復雜度,從而形成規(guī)則化的人工特征信息。首先采用KMeans聚類算法對提取到的SURF特征重新進行訓練,獲取到碼本信息,然后按照3.4式,將每幅圖像的SURF特征按照最近鄰原則分配到K個聚類中心上,之后對每個聚類中心,按照3.5式計算殘差和,最后將所有的vi向量串接在一起,并按照3.6式做l2歸一化處理,從而得到最終規(guī)則化的編碼特征。經(jīng)過VLAD算法重新編碼之后的特征在保留原有SURF特征信息量的同時,形成更為規(guī)則化的特征描述,從而能夠更好地適用于遙感圖像場景判別。()argmin||||kiikuNNx=xu(3.4)
基于Spark平臺的遙感圖像處理研究-16-遙感圖像場景判別提供信息依據(jù)。如圖3.4所示,對于不同的遙感圖像場景內(nèi)容,從目視角度可以清楚看到產(chǎn)生有不同的特征描述點信息。圖3.2遙感圖像尺度空間構建示意圖圖3.3SURF特征描述示意圖圖3.4部分遙感圖像SURF特征示意圖為了增強SURF特征的信息表達能力,形成規(guī)則化的特征描述信息,本文對提取到的SURF特征采用VLAD[42]算法進行特征重編碼,在保留特征信息的同時,降低SURF特征的復雜度,從而形成規(guī)則化的人工特征信息。首先采用KMeans聚類算法對提取到的SURF特征重新進行訓練,獲取到碼本信息,然后按照3.4式,將每幅圖像的SURF特征按照最近鄰原則分配到K個聚類中心上,之后對每個聚類中心,按照3.5式計算殘差和,最后將所有的vi向量串接在一起,并按照3.6式做l2歸一化處理,從而得到最終規(guī)則化的編碼特征。經(jīng)過VLAD算法重新編碼之后的特征在保留原有SURF特征信息量的同時,形成更為規(guī)則化的特征描述,從而能夠更好地適用于遙感圖像場景判別。()argmin||||kiikuNNx=xu(3.4)
【參考文獻】:
期刊論文
[1]基于深度學習的場景識別方法綜述[J]. 李新葉,朱婧,麻麗娜. 計算機工程與應用. 2020(05)
[2]遙感衛(wèi)星大數(shù)據(jù)產(chǎn)業(yè)化應用[J]. 傅俏燕,隋正偉,龔亞麗. 衛(wèi)星應用. 2019(10)
[3]分布式并行遙感圖像處理中的數(shù)據(jù)劃分[J]. 王玉坤. 電子技術與軟件工程. 2019(14)
[4]圖像場景分類技術綜述[J]. 田艷玲,張維桐,張鍥石,路綱,吳曉軍. 電子學報. 2019(04)
[5]基于Apache Spark的海量圖像并行檢索[J]. 曹健,張俊杰,李海生,蔡強. 計算機應用. 2018(S2)
[6]遙感大數(shù)據(jù)時代與智能信息提取[J]. 張兵. 武漢大學學報(信息科學版). 2018(12)
[7]基于分布式云架構的航天遙感大數(shù)據(jù)處理技術[J]. 楊峰,李津,李鵬程. 電子信息對抗技術. 2018(04)
[8]Spark性能優(yōu)化技術研究綜述[J]. 廖湖聲,黃珊珊,徐俊剛,劉仁峰. 計算機科學. 2018(07)
[9]Spark并行計算框架的內(nèi)存優(yōu)化[J]. 廖旺堅,黃永峰,包從開. 計算機工程與科學. 2018(04)
[10]深度學習方法用于遙感圖像處理的研究進展[J]. 羅仙仙,曾蔚,陳小瑜,張東水,莊世芳. 泉州師范學院學報. 2017(06)
博士論文
[1]內(nèi)存計算框架性能優(yōu)化關鍵技術研究[D]. 卞琛.新疆大學 2017
[2]高分辨率光學遙感圖像場景理解關鍵技術研究[D]. 姚西文.西北工業(yè)大學 2016
碩士論文
[1]基于GPU的Spark計算框架性能模型研究[D]. 吳夢玲.華南理工大學 2019
[2]Ceph異構存儲優(yōu)化機制研究[D]. 姚朋成.重慶郵電大學 2019
[3]Spark下遙感影像分類加速研究[D]. 黃震.新疆大學 2018
[4]遙感大數(shù)據(jù)存儲管理方法及交互可視化實現(xiàn)研究[D]. 余潔.中國礦業(yè)大學 2018
[5]遙感大數(shù)據(jù)的存儲與應用研究[D]. 周杰民.華中科技大學 2017
本文編號:3495618
本文鏈接:http://sikaile.net/kejilunwen/zidonghuakongzhilunwen/3495618.html
最近更新
教材專著