發(fā)布時間：2018-04-08 08:50

  本文選題：遙感數(shù)據(jù)處理　切入點：并行計算　出處：《中國科學院大學(中國科學院遙感與數(shù)字地球研究所)》2017年博士論文

【摘要】：傳感器和計算機技術的發(fā)展,正逐漸改進著遙感數(shù)據(jù)的收集、管理和分析的方式。傳感器的分辨率在光譜維度和空間維度不斷增長,遙感數(shù)據(jù)越來越呈現(xiàn)出“超大規(guī)模數(shù)據(jù)量”的特征,同時隨著地理空間分析和建模復雜程度的提高,遙感圖像處理與信息產(chǎn)品生產(chǎn)的計算越來越呈現(xiàn)出“密集型計算”的特征,另外,應急遙感等應用通常具有很高的時效性要求,以上海量數(shù)據(jù)處理、算法復雜以及實時性的要求,為遙感數(shù)據(jù)的信息提取帶來了挑戰(zhàn)。并行計算為解決上述問題提供了良好契機,但是利用低級的并行編程語言對遙感處理算法進行并行化實現(xiàn)是復雜繁瑣的工作,遙感專家在應對海量的多維遙感圖像數(shù)據(jù)和復雜遙感應用算法的同時,還必須具備充分的并行系統(tǒng)結構知識。因此,需要研究遙感數(shù)據(jù)并行處理快速編程工具,來簡化并行計算編程并提高代碼的復用性。另外,遙感數(shù)據(jù)處理模式多樣且復雜,其中數(shù)值問題并行計算以及DAG類遙感應用處理算法的并行實現(xiàn)難度比較大。并行計算在遙感數(shù)據(jù)處理中的應用已經(jīng)發(fā)展了很多年,但是存在以下不足之處:第一,遙感數(shù)據(jù)處理并行解決方案與具體算法之間過于耦合,代碼復用性差;第二,遙感數(shù)據(jù)具有多波段和元數(shù)據(jù)復雜的特點,將多維遙感圖像映射到通用并行編程骨架中具有一定難度;第三,直接基于低級的編程語言實現(xiàn)的遙感數(shù)據(jù)并行處理快速編程工具,代碼的穩(wěn)定性和可靠性存在一定風險。第四,已有遙感并行編程模版通常只提供簡單數(shù)據(jù)并行模式,一般只有點運算、鄰域計算和全局計算等。缺乏面向數(shù)值計算和DAG類運算的遙感并行編程快速實現(xiàn)工具。針對以上問題,本文在分析遙感數(shù)據(jù)和處理流程的基礎上,探討遙感數(shù)據(jù)快速處理編程支撐工具的關鍵問題,構建和實現(xiàn)了各類典型遙感并行算法骨架。本論文的主要貢獻和創(chuàng)新性主要體現(xiàn)在以下幾個方面:(1)提出了基于通用并行算法骨架構建遙感數(shù)據(jù)快速處理編程工具的思路,從三個漸進層次構建和實現(xiàn)了各類典型的遙感數(shù)據(jù)并行編程模版。避免直接利用低級編程語言實現(xiàn)的不穩(wěn)定性的風險,提高并行編程模版構建的抽象層次。(2)提出遙感數(shù)據(jù)抽象模型,并以泛型編程的形式,構建遙感數(shù)據(jù)模版類。分別針對單波段和多波段遙感數(shù)據(jù),制定多類劃分方式,按照規(guī)則映射到Muesli分布式矩陣空間內,構建分布式遙感數(shù)據(jù)模版類。(3)對典型遙感圖像處理和信息產(chǎn)品生產(chǎn)算法,提煉共性的并行處理流程。在Muesli任務并行骨架之上構建遙感數(shù)據(jù)并行編程模版RSParallel,為遙感領域并行模型的發(fā)展提供了示范性思路。(4)提出遙感應用領域共性數(shù)值計算問題進行更高層次抽象的思想,構建針對非線性方程組求解的遙感數(shù)據(jù)并行編程算法骨架。融合遙感數(shù)據(jù)并行編程模版和已有數(shù)值計算庫,構建更高層次的算法骨架RSPallelNLE,為其他遙感應用數(shù)值問題并行化快速實現(xiàn)提供了參考。(5)構建基于many-task計算的遙感數(shù)據(jù)處理DAG并行編程模版,針對具有前后數(shù)據(jù)依賴關系的DAG類遙感應用算法,基于多任務計算,定義了務表示模型,設計了基于關鍵路徑和深度的DAG動態(tài)調度策略,構建的遙感數(shù)據(jù)處理DAG并行編程模版,并在大尺度生態(tài)水文模擬計算中實現(xiàn)二十萬量級的任務的并行計算。選取典型遙感應用算法,對以上各類并行編程模版進行并行性能測試,取得了良好的效果。理論和實驗表明,提煉遙感數(shù)據(jù)處理共性模式,形成相應的并行編程模版是遙感數(shù)據(jù)并行計算快速實現(xiàn)的有效途徑。
[Abstract]:The development of sensors and computer technology, is gradually improved with remote sensing data collection, management and analysis. The resolution of the sensor in the spectral dimension and space dimension is growing, more and more remote sensing data showing the characteristics of large scale data ", with spatial analysis and modeling complexity of remote sensing image processing the production of information products and the calculation shows more and more" intensive computing "features, in addition, high requirement of timeliness usually have emergency remote sensing applications, the amount of data processing in Shanghai, complex algorithm and real-time requirements, a challenge for the information extraction of remote sensing data parallel computing provides a good opportunity. In order to solve the problem, but the use of parallel programming language on the remote sensing processing algorithm parallel implementation is a complicated work of low-level, remote sensing experts in response to the sea Multi dimensional remote sensing image data and the complexity of the application of remote sensing algorithms at the same time, also must have sufficient knowledge of the parallel system structure. Therefore, fast programming tools for parallel processing of remote sensing data, to simplify parallel programming and improve the reusability of the code. In addition, the remote sensing data processing mode is diverse and complex, the problem of parallel computing and numerical DAG parallel processing algorithm for remote sensing applications more difficult to achieve. Parallel computing in remote sensing data processing have been developed for many years, but has the following shortcomings: first, remote sensing data processing to solve the parallel between the program and specific algorithm is coupled, code reuse is poor; second, has the characteristics of multi band remote sensing data and metadata the complex, multidimensional remote sensing image is mapped to a general-purpose parallel programming framework has a certain degree of difficulty; third, directly based on low level programming language Fast programming tools for parallel processing of remote sensing data is implemented, the stability and reliability of the code there is a certain risk. Fourth, the existing remote sensing parallel programming template usually provide only simple data parallel mode, generally only point operations, neighborhood calculation and global computing. For the lack of numerical calculation and DAG calculation of remote sensing parallel programming tools. For fast implementation the above problems, based on the analysis of remote sensing data and processes on the key issues of rapid processing programming tools to support remote sensing data, constructs and implements various typical remote sensing parallel algorithm framework. The main contributions and innovations of this paper are mainly reflected in the following aspects: (1) put forward the general framework construction fast parallel algorithm remote sensing data processing programming tool based on the ideas from the three progressive level of construction and implementation of the remote sensing data of all kinds of typical parallel programming Template. Avoid instability risk directly using low-level programming language, improve parallel programming template construction level. (2) proposed model of remote sensing data, and generic programming in the form of construction of remote sensing data template class. For single band and multi band remote sensing data, making multi class classification, in accordance with the rules distributed matrix is mapped to the Muesli space, the construction of distributed remote sensing data template class. (3) of typical remote sensing image processing and information production algorithm, parallel processing processes of extracting common. Parallel frame based parallel programming template RSParallel remote sensing data in the Muesli task, provides a demonstration of the way of thinking for the development of remote sensing parallel model. (4) the common field of remote sensing application problems of numerical calculation of higher level abstract thought, construction of remote sensing data for solving the nonlinear equations of parallel series The process algorithm skeleton. Fusion numerical library programming template and the existing remote sensing data parallel algorithm for constructing RSPallelNLE skeleton of a higher level, the application of remote sensing for other numerical problems parallel fast reference. (5) the construction calculation of many-task remote sensing data processing based on DAG parallel programming template, for a class DAG application of remote sensing data and algorithm the dependence, based on Calculation of multi task, the definition of service model, designed the DAG dynamic scheduling strategy based on the critical path and depth, the construction of remote sensing data processing DAG parallel programming template, and calculate the parallel implementation of the order of two hundred thousand tasks in simulation of eco hydrological scale. The typical application of remote sensing algorithm. All kinds of parallel programming templates for parallel performance test, and achieved good results. The theoretical and experimental results show that the total pattern extraction of remote sensing data, The formation of corresponding parallel programming templates is an effective way for the rapid realization of remote sensing data parallel computing.

【學位授予單位】：中國科學院大學(中國科學院遙感與數(shù)字地球研究所)
【學位級別】：博士
【學位授予年份】：2017
【分類號】：TP75

【相似文獻】

相關期刊論文 前10條

1 周勝利 ,彭濤;美國政府對商業(yè)遙感數(shù)據(jù)的使用情況[J];國際太空;2003年10期

2 劉曉龍;李英成;;遙感數(shù)據(jù)訂購與管理軟件的開發(fā)與應用[J];測繪科學;2006年04期

3 董秀珍;劉德長;葉發(fā)旺;宣艷秀;;遙感數(shù)據(jù)及航放、航磁數(shù)據(jù)處理淺析[J];世界核地質科學;2009年02期

4 李斌斌;馮鐘葵;唐夢輝;;遙感數(shù)據(jù)異地歸檔方法研究與實現(xiàn)[J];遙感信息;2011年02期

5 嚴瑾;;遙感數(shù)據(jù)應急服務機制研究與實現(xiàn)[J];硅谷;2011年11期

6 姜宇鳴;陳道波;;遙感數(shù)據(jù)記錄存檔軟件的設計與實現(xiàn)[J];鄭州輕工業(yè)學院學報(自然科學版);2011年03期

7 張文;孟令奎;周揚;趙銘;涂振發(fā);婁書榮;;多源水利遙感數(shù)據(jù)的一體化管理機制研究[J];水利信息化;2012年04期

8 謝怡;利用遙感數(shù)據(jù)研究地球變化[J];中國航天;1991年08期

9 李四海;提高遙感數(shù)據(jù)分類應用性的有效途徑[J];國土資源遙感;1995年04期

10 李四海;淺談提高遙感數(shù)據(jù)分類精度的方法[J];遙感信息;1995年04期

相關會議論文 前10條

1 任娜;朱長青;;一種抗拼接的瓦片遙感數(shù)據(jù)水印算法[A];第四屆“測繪科學前沿技術論壇”論文精選[C];2012年

2 黃二輝;潘德爐;楊燕明;;海洋遙感數(shù)據(jù)的時空分布經(jīng)驗正交分析方法研究[A];第十五屆全國遙感技術學術交流會論文摘要集[C];2005年

3 徐國富;鄧正棟;于德浩;;基于遙感數(shù)據(jù)的民用渡口選址模型及實例分析[A];國家安全地球物理叢書（八）——遙感地球物理與國家安全[C];2012年

4 譚福強;董雙發(fā);;遙感數(shù)據(jù)的尺度效應與遙感應用[A];第十四屆全國遙感技術學術交流會論文摘要集[C];2003年

5 翟永;宋雪生;;遙感數(shù)據(jù)成果的分級存儲管理[A];第十五屆全國遙感技術學術交流會論文摘要集[C];2005年

6 李幸麗;杜培軍;;面向數(shù)字城市的遙感數(shù)據(jù)挖掘及其應用[A];第十五屆全國遙感技術學術交流會論文摘要集[C];2005年

7 張偉;;高空間分辨率遙感數(shù)據(jù)的預處理方法——以泉州快鳥數(shù)據(jù)為例[A];2007年福建省土地學會年會征文集[C];2007年

8 謝鋒;潘明忠;亓洪興;徐衛(wèi)明;張雷;舒嶸;戴寧;薛永祺;;支持農(nóng)業(yè)遙感數(shù)據(jù)產(chǎn)品開發(fā)與驗證的相關技術進展[A];全國農(nóng)業(yè)遙感技術研討會論文集[C];2009年

9 鐘志勇;陳映鷹;;海量遙感數(shù)據(jù)應用方法初探[A];第十四屆全國遙感技術學術交流會論文摘要集[C];2003年

10 潘強;孫建中;倪麗萍;張杰;;上海城市遙感數(shù)據(jù)平臺的構建及其在城市信息化進程中的作用[A];第十四屆全國遙感技術學術交流會論文摘要集[C];2003年

相關重要報紙文章 前10條

1 陳城;遙感數(shù)據(jù)把脈京城未來規(guī)劃[N];建筑時報;2009年

2 本報記者 操秀英 陳磊;應急“蓄水池”：遙感數(shù)據(jù)在這里匯聚[N];科技日報;2013年

3 王彤琪;黃河凌情遙感數(shù)據(jù)更豐富 應用更便捷[N];黃河報;2009年

4 記者 李大慶;我國遙感數(shù)據(jù)信息利用率不足5%[N];科技日報;2011年

5 記者 李安利;測繪系統(tǒng)遙感數(shù)據(jù)服務體系日臻完善[N];中國測繪報;2003年

6 楊平;遙感數(shù)據(jù)有了處理新工具[N];科技日報;2003年

7 李紅梅;南亞:使用遙感數(shù)據(jù)監(jiān)測旱情[N];中國水利報;2012年

8 龐劍波 鄭雄偉;三峽庫區(qū)首獲航空遙感數(shù)據(jù)[N];地質勘查導報;2009年

9 呂世充　蔚曉涵;武漢珈和遙感數(shù)據(jù)中心平臺服務農(nóng)業(yè)[N];中國測繪報;2014年

10 ;拓寬服務領域 提供高質量遙感數(shù)據(jù)[N];中國測繪報;2002年

相關博士學位論文 前7條

1 岳莎莎;遙感數(shù)據(jù)快速處理編程支撐工具研究[D];中國科學院大學(中國科學院遙感與數(shù)字地球研究所);2017年

2 程付超;面向海量遙感數(shù)據(jù)的分布式混合計算技術研究[D];成都理工大學;2014年

3 馬超飛;基于關聯(lián)規(guī)則的遙感數(shù)據(jù)挖掘與應用[D];中國科學院研究生院（遙感應用研究所）;2002年

4 周松濤;海量遙感數(shù)據(jù)的高性能處理及可視化應用研究[D];武漢大學;2013年

5 常歌;基于遙感數(shù)據(jù)的城市景觀建模技術研究與實踐[D];解放軍信息工程大學;2001年

6 哈斯巴干;神經(jīng)網(wǎng)絡及其組合算法的遙感數(shù)據(jù)分類研究[D];中國科學院研究生院（遙感應用研究所）;2003年

7 穆超;基于多種遙感數(shù)據(jù)的電力線走廊特征物提取方法研究[D];武漢大學;2010年

相關碩士學位論文 前10條

1 熊賢成;基于MODIS遙感數(shù)據(jù)的特定云屬性研究[D];電子科技大學;2015年

2 王玲玲;基于多源遙感數(shù)據(jù)四川省伏旱監(jiān)測[D];成都信息工程學院;2015年

3 元沐南;基于開源WebGIS的遙感數(shù)據(jù)可視化模型研究與實現(xiàn)[D];河南大學;2015年

4 張振鵬;遙感數(shù)據(jù)分發(fā)系統(tǒng)主動隊列控制模式的研究與應用[D];河南大學;2015年

5 杜珍星;面向海量遙感數(shù)據(jù)的數(shù)據(jù)庫同步技術研究[D];河南大學;2015年

6 孔帥可;基于Swift的海量遙感數(shù)據(jù)云存儲技術研究與應用[D];河南大學;2015年

7 冶鑫晨;云環(huán)境下基于地理位置活躍度的遙感數(shù)據(jù)節(jié)能處理策略[D];新疆大學;2016年

8 鐘金沙;Hadoop在PSInSAR遙感數(shù)據(jù)并行處理中的研究及應用[D];東南大學;2015年

9 趙靜;基于DART模型的遙感數(shù)據(jù)空間尺度轉換分析[D];遼寧工程技術大學;2015年

10 王銳;海洋遙感數(shù)據(jù)傳輸系統(tǒng)研究與設計[D];遼寧工程技術大學;2015年

，

本文編號：1720908