【摘要】：遙感數(shù)據(jù)是地球信息科學及其相關領域科學研究和生產(chǎn)工作中最重要的基礎性資源，其應用已覆蓋了地球信息科學相關的各個領域�；谶b感數(shù)據(jù)（特別是高分辨率遙感影像數(shù)據(jù)）的信息提取，是遙感數(shù)據(jù)的主要應用方式，是智能城市、環(huán)境監(jiān)測、地質災害預警、土地利用監(jiān)測、植被監(jiān)測、水體和海洋遙感、農(nóng)業(yè)遙感和大氣研究等行業(yè)進行科研和生產(chǎn)工作的常用技術手段。而如何對遙感數(shù)據(jù)進行有效的組織、管理、處理、計算與分析，是進行遙感數(shù)據(jù)信息提取的前提。隨著3S技術和信息技術的不斷發(fā)展，多源、多時空分辨率的遙感數(shù)據(jù)呈現(xiàn)出海量化趨勢，累計數(shù)據(jù)量往往達到TB甚至PB級。以嫦娥二號月球影像數(shù)據(jù)為例，原始條帶影像的數(shù)據(jù)量已達到3TB，處理完成后的產(chǎn)品數(shù)據(jù)也高達800GB，這樣龐大的數(shù)據(jù)量，已遠遠超出一般圖形工作站的處理能力，對遙感數(shù)據(jù)的存儲、管理和計算都提出了新的要求。以發(fā)生于2014年3月初發(fā)生的馬來西亞航空公司MH370客機失聯(lián)事件為例，雖然號稱動用了十顆衛(wèi)星進行搜救，但卻收效甚微，其根本原因就在于海量遙感數(shù)據(jù)計算的困難性，從衛(wèi)星獲取的遙感數(shù)據(jù)首先要經(jīng)過一系列校正處理才能投入使用，要在海域遙感數(shù)據(jù)中找到飛機影像信息還需要進行精度要求較高的特征提取與識別，，在數(shù)據(jù)分辨率高、數(shù)據(jù)量大、時間倉促的情況下，現(xiàn)有技術無法及時有效的完成上述數(shù)據(jù)處理、提取與識別工作，導致雖然調用了大量資源卻無法達到預期目的的局面出現(xiàn)。 本文在課題組前期研究成果“面向數(shù)據(jù)的架構”基礎上，針對遙感數(shù)據(jù)計算特點，分別對遙感數(shù)據(jù)的分布式計算理論、關鍵技術等進行了深入研究，主要研究工作包括： （1）基礎設施與數(shù)據(jù)資源的統(tǒng)一描述方法研究。深入分析了計算機信息系統(tǒng)及其構建方法的發(fā)展歷程，并對大數(shù)據(jù)相關理論和技術進行了總結；在此基礎上，提出“廣義數(shù)據(jù)”的概念，并通過數(shù)學方法對其進行了定義和描述；按照“廣義數(shù)據(jù)”的具體內容，參考林奈分類法，設計了一種“廣義數(shù)據(jù)”的分類體系，并按照該體系對廣義數(shù)據(jù)類別進行了初步劃分；設計了一種組合編碼的“廣義數(shù)據(jù)”編碼方法，并在此基礎上設計了基于元數(shù)據(jù)的“廣義數(shù)據(jù)”數(shù)學描述方法，實現(xiàn)對系統(tǒng)中基礎設施和數(shù)據(jù)資源的統(tǒng)一描述。 （2）海量遙感數(shù)據(jù)的分布式計算方法研究。分別對遙感數(shù)據(jù)的組織模型和分布式計算模型進行了研究。建立了一種多層影像按需剖分的遙感數(shù)據(jù)組織模型——彈性影像金字塔模型，該模型將遙感數(shù)據(jù)劃分為多個影像區(qū)塊（Region），對該模型的構建算法進行了詳細闡述；設計了一種基于元數(shù)據(jù)的影像區(qū)塊存儲方法，并建立了一種通過影像區(qū)塊ID對其進行封裝的方法。對遙感數(shù)據(jù)分布式計算的需求進行了分析，并對其計算流程進行了劃分，并定義了一種公式表示法，對遙感數(shù)據(jù)分布式計算模型進行了描述。針對遙感數(shù)據(jù)分布式計算中的冗余結果問題，分別采用了空間密度聚類算法和基于小波變換的影像融合算法對矢量結果數(shù)據(jù)和柵格結果數(shù)據(jù)進行處理。 （3）面向“廣義數(shù)據(jù)”的系統(tǒng)構建技術研究。通過“廣義數(shù)據(jù)”概念對大數(shù)據(jù)系統(tǒng)構建進行了化簡，設計了一種面向“廣義數(shù)據(jù)”的DOA架構，并著重對其中的分布式數(shù)據(jù)注冊中心關鍵技術進行了研究。設計了一種分布式的內存數(shù)據(jù)集——運行備份數(shù)據(jù)集，對其組成結構、操作方式和工作狀態(tài)進行了詳細設計，在此基礎上，設計了一種適用于分布式元數(shù)據(jù)管理的自適應主從模型，該模型采用一種仿效Paxos的兩階段選舉算法SimpleElect實現(xiàn)了對主節(jié)點的自動選舉；通過性能仿真對該模型的基本性能、可用性、容錯性和擴展性進行了分析。綜合運用上述技術，本文還設計了一種扁平化的數(shù)據(jù)注冊中心架構，并對其工作機制進行了分析。 （4）遙感數(shù)據(jù)分布式混合計算框架研究。綜合運用前述研究的各項理論和技術成果，對Chaos計算框架的總體架構和各層實現(xiàn)進行了設計，并將其應用到嫦娥二號月球遙感影像數(shù)據(jù)的處理和計算中，作為實例展示。 本文取得的主要創(chuàng)新點包括： （1）提出了一種面向海量遙感數(shù)據(jù)的分布式混合計算方法模型。在深入研究批處理計算、流式計算、迭代計算等分布式計算模型的基礎上，提出了遙感數(shù)據(jù)分布式計算的劃分方法，將分布式計算過程分為遙感數(shù)據(jù)分割（Split）、分布式處理（Process）和結果數(shù)據(jù)歸并（Reduce）三個流程，并通過對這三個流程的組合調用實現(xiàn)不同的遙感數(shù)據(jù)計算模式。同時，還設計了一種遙感數(shù)據(jù)的組織管理模型——彈性影像金字塔模型，以解決分布式計算過程中的數(shù)據(jù)組織管理問題。 （2）提出了一種分布式數(shù)據(jù)注冊中心的構架方法。分析了單點式數(shù)據(jù)注冊中心的架構及其存在的問題，以目前大數(shù)據(jù)系統(tǒng)中元數(shù)據(jù)管理模型和技術為基礎，提出一種分布式的內存抽象——運行-備份數(shù)據(jù)集，并在此基礎上設計了一種分布式元數(shù)據(jù)管理模型——自適應主從模型。最后，綜合上述研究成果，設計并實現(xiàn)了一種扁平化的分布式數(shù)據(jù)注冊中心架構，實現(xiàn)高效的分布式元數(shù)據(jù)管理。 （3）提出了一種信息系統(tǒng)中基礎設施與數(shù)據(jù)資源的統(tǒng)一描述方法。圍繞“以數(shù)據(jù)為核心”的理念，以實現(xiàn)“面向數(shù)據(jù)”為目標，將系統(tǒng)中基礎設施和數(shù)據(jù)資源都囊括到“廣義數(shù)據(jù)”的概念中，并對其分類體系和描述方法展開研究，建立了一套通過“廣義數(shù)據(jù)”對分布式計算集群中基礎設施和數(shù)據(jù)資源進行統(tǒng)一描述的方法體系；并將這種方法與“面向數(shù)據(jù)的體系架構（DOA）”結合起來，建立了面向“廣義數(shù)據(jù)”的系統(tǒng)構建方法。
【圖文】：

以及地質遙感分析等；每類計算還可劃分為更詳細的計算內容，如圖1-1。圖 1-1 遙感數(shù)據(jù)的計算類型圖由此可見，遙感數(shù)據(jù)相關計算的類型復雜、方法繁多、面向領域廣泛，現(xiàn)有的各種面向單一計算類型的計算技術，難以完全滿足具有上述特征的海量遙感數(shù)據(jù)計算需要。如何綜合運用大數(shù)據(jù)領域已有的各類分布式計算框架，確立適用于遙感數(shù)據(jù)計算的分布式計算模式，并建立分布式的混合計算框架，從而將多種復雜的遙感數(shù)據(jù)計算類型集中到一個計算集群中進行統(tǒng)一處理，是海量遙感數(shù)據(jù)計算研究中必須解決的一個問題。

（4）設計面向“廣義數(shù)據(jù)”管理的扁平化數(shù)據(jù)注冊中心架構。首先，深入分析現(xiàn)有集中式、雙層式和共享式資源管理框架的異同，明確其工作原理；其次基于前述元數(shù)據(jù)管理機制，設計一種扁平化的數(shù)據(jù)注冊中心架構——PatchBoar模型；最后，分析 PatchBoard 模型的工作機制。（5）設計面向海量遙感數(shù)據(jù)的分布式混合計算框架。首先，根據(jù)面向“廣義數(shù)據(jù)”的 DOA 架構，設計海量遙感數(shù)據(jù)分布式混合計算框架 Chaos 的總體架構；然后，按照遙感數(shù)據(jù)分布式計算的流程，明確整個 Chaos 計算框架的工作機制。（6）完成 Chaos 計算框架原型系統(tǒng)。首先，選定開發(fā)平臺和開發(fā)語言；其次，設計原型系統(tǒng)整體功能和程序結構；第三，完成計算框架原型系統(tǒng)各功能模塊編碼；第四，完成各模塊功能測試；第五，完成原型系統(tǒng)集成；最后，以“嫦娥二號”月球遙感影像數(shù)據(jù)處理為例，展示 Chaos 計算框架的實際應用情況。本文研究技術路線如圖 1-2 所示
【學位授予單位】：成都理工大學
【學位級別】：博士
【學位授予年份】：2014
【分類號】：P237

【相似文獻】

相關期刊論文 前10條

1 ;遙感數(shù)據(jù)聚集于蓄水池應急平臺[J];衛(wèi)星與網(wǎng)絡;2013年04期

2 翟永,宋雪生;遙感數(shù)據(jù)成果的分級存儲管理[J];北京測繪;2005年02期

3 陳冬花;李虎;;中巴地球資源衛(wèi)星遙感數(shù)據(jù)應用開發(fā)技術研究概述[J];亞熱帶資源與環(huán)境學報;2006年04期

4 Xin Zhuang ,Bernard A Eernard A Engel ,XiaopingXiong ,Chris J Johannsen ,李五夫;遙感數(shù)據(jù)分類結果分析及分類算法評價[J];黑龍江測繪;1995年04期

5 胡圣武,許輝,喻錚錚,潘正風;遙感數(shù)據(jù)的模糊不確定性及處理方法的探討[J];地礦測繪;2004年02期

6 胡圣武,許輝,喻錚錚,潘正風;論遙感數(shù)據(jù)的模糊不確定性[J];礦山測量;2004年04期

7 孫富春;;遙感數(shù)據(jù)共享系統(tǒng)在防洪抗旱中的應用[J];黑龍江水利科技;2013年05期

8 ;多種遙感數(shù)據(jù)綜合分析的五個專題在北京通過驗收和成果鑒定[J];遙感技術與應用;1991年01期

9 王棟;鄭逢斌;賴積保;余濤;李家國;郭珊;;基于五層十五級遙感數(shù)據(jù)結構的并行算法研究[J];微計算機信息;2012年01期

10 劉其真;徐建華;何永保;;利用探空遙感數(shù)據(jù)生成氣象要素分布場[J];遙感技術動態(tài);1990年02期

相關會議論文 前10條

1 任娜;朱長青;;一種抗拼接的瓦片遙感數(shù)據(jù)水印算法[A];第四屆“測繪科學前沿技術論壇”論文精選[C];2012年

2 黃二輝;潘德爐;楊燕明;;海洋遙感數(shù)據(jù)的時空分布經(jīng)驗正交分析方法研究[A];第十五屆全國遙感技術學術交流會論文摘要集[C];2005年

3 徐國富;鄧正棟;于德浩;;基于遙感數(shù)據(jù)的民用渡口選址模型及實例分析[A];國家安全地球物理叢書（八）——遙感地球物理與國家安全[C];2012年

4 譚福強;董雙發(fā);;遙感數(shù)據(jù)的尺度效應與遙感應用[A];第十四屆全國遙感技術學術交流會論文摘要集[C];2003年

5 翟永;宋雪生;;遙感數(shù)據(jù)成果的分級存儲管理[A];第十五屆全國遙感技術學術交流會論文摘要集[C];2005年

6 李幸麗;杜培軍;;面向數(shù)字城市的遙感數(shù)據(jù)挖掘及其應用[A];第十五屆全國遙感技術學術交流會論文摘要集[C];2005年

7 張偉;;高空間分辨率遙感數(shù)據(jù)的預處理方法——以泉州快鳥數(shù)據(jù)為例[A];2007年福建省土地學會年會征文集[C];2007年

8 謝鋒;潘明忠;亓洪興;徐衛(wèi)明;張雷;舒嶸;戴寧;薛永祺;;支持農(nóng)業(yè)遙感數(shù)據(jù)產(chǎn)品開發(fā)與驗證的相關技術進展[A];全國農(nóng)業(yè)遙感技術研討會論文集[C];2009年

9 鐘志勇;陳映鷹;;海量遙感數(shù)據(jù)應用方法初探[A];第十四屆全國遙感技術學術交流會論文摘要集[C];2003年

10 潘強;孫建中;倪麗萍;張杰;;上海城市遙感數(shù)據(jù)平臺的構建及其在城市信息化進程中的作用[A];第十四屆全國遙感技術學術交流會論文摘要集[C];2003年

相關重要報紙文章 前10條

1 陳城;遙感數(shù)據(jù)把脈京城未來規(guī)劃[N];建筑時報;2009年

2 本報記者 操秀英 陳磊;應急“蓄水池”：遙感數(shù)據(jù)在這里匯聚[N];科技日報;2013年

3 王彤琪;黃河凌情遙感數(shù)據(jù)更豐富 應用更便捷[N];黃河報;2009年

4 記者 李大慶;我國遙感數(shù)據(jù)信息利用率不足5%[N];科技日報;2011年

5 記者 李安利;測繪系統(tǒng)遙感數(shù)據(jù)服務體系日臻完善[N];中國測繪報;2003年

6 楊平;遙感數(shù)據(jù)有了處理新工具[N];科技日報;2003年

7 李紅梅;南亞:使用遙感數(shù)據(jù)監(jiān)測旱情[N];中國水利報;2012年

8 龐劍波 鄭雄偉;三峽庫區(qū)首獲航空遙感數(shù)據(jù)[N];地質勘查導報;2009年

9 呂世充　蔚曉涵;武漢珈和遙感數(shù)據(jù)中心平臺服務農(nóng)業(yè)[N];中國測繪報;2014年

10 ;拓寬服務領域 提供高質量遙感數(shù)據(jù)[N];中國測繪報;2002年

相關博士學位論文 前5條

1 馬超飛;基于關聯(lián)規(guī)則的遙感數(shù)據(jù)挖掘與應用[D];中國科學院研究生院（遙感應用研究所）;2002年

2 周松濤;海量遙感數(shù)據(jù)的高性能處理及可視化應用研究[D];武漢大學;2013年

3 常歌;基于遙感數(shù)據(jù)的城市景觀建模技術研究與實踐[D];解放軍信息工程大學;2001年

4 哈斯巴干;神經(jīng)網(wǎng)絡及其組合算法的遙感數(shù)據(jù)分類研究[D];中國科學院研究生院（遙感應用研究所）;2003年

5 穆超;基于多種遙感數(shù)據(jù)的電力線走廊特征物提取方法研究[D];武漢大學;2010年

相關碩士學位論文 前10條

1 張哲;基于海量遙感數(shù)據(jù)的集群并行處理技術研究與應用[D];河南大學;2012年

2 方聰;基于對等架構的海量遙感數(shù)據(jù)分發(fā)系統(tǒng)的設計與實現(xiàn)[D];浙江大學;2013年

3 史園莉;遙感數(shù)據(jù)集群處理系統(tǒng)架構設計與實現(xiàn)[D];中國測繪科學研究院;2010年

4 王舒境;網(wǎng)絡環(huán)境下的海量地學遙感數(shù)據(jù)高效存儲與發(fā)布[D];浙江大學;2006年

5 朱娟娟;基于多源影像的多角度遙感數(shù)據(jù)平臺的設計與開發(fā)[D];電子科技大學;2008年

6 楊夢茹;基于計算存儲一體化策略的遙感數(shù)據(jù)高性能計算研究及應用[D];河南大學;2014年

7 陳超;遙感數(shù)據(jù)融合智能化處理方法研究[D];山東科技大學;2009年

8 王娜;海洋遙感數(shù)據(jù)速報系統(tǒng)設計與實現(xiàn)[D];浙江大學;2006年

9 曹廣生;基于Web服務的遙感數(shù)據(jù)共享與服務動態(tài)管理技術研究[D];山東科技大學;2009年

10 徐勇;移動終端下環(huán)境星遙感數(shù)據(jù)共享機制的研究與應用[D];河南大學;2014年

本文編號：2554477