【摘要】：遙感數(shù)據(jù)是地球信息科學(xué)及其相關(guān)領(lǐng)域科學(xué)研究和生產(chǎn)工作中最重要的基礎(chǔ)性資源，其應(yīng)用已覆蓋了地球信息科學(xué)相關(guān)的各個領(lǐng)域。基于遙感數(shù)據(jù)（特別是高分辨率遙感影像數(shù)據(jù)）的信息提取，是遙感數(shù)據(jù)的主要應(yīng)用方式，是智能城市、環(huán)境監(jiān)測、地質(zhì)災(zāi)害預(yù)警、土地利用監(jiān)測、植被監(jiān)測、水體和海洋遙感、農(nóng)業(yè)遙感和大氣研究等行業(yè)進(jìn)行科研和生產(chǎn)工作的常用技術(shù)手段。而如何對遙感數(shù)據(jù)進(jìn)行有效的組織、管理、處理、計算與分析，是進(jìn)行遙感數(shù)據(jù)信息提取的前提。隨著3S技術(shù)和信息技術(shù)的不斷發(fā)展，多源、多時空分辨率的遙感數(shù)據(jù)呈現(xiàn)出海量化趨勢，累計數(shù)據(jù)量往往達(dá)到TB甚至PB級。以嫦娥二號月球影像數(shù)據(jù)為例，原始條帶影像的數(shù)據(jù)量已達(dá)到3TB，處理完成后的產(chǎn)品數(shù)據(jù)也高達(dá)800GB，這樣龐大的數(shù)據(jù)量，已遠(yuǎn)遠(yuǎn)超出一般圖形工作站的處理能力，對遙感數(shù)據(jù)的存儲、管理和計算都提出了新的要求。以發(fā)生于2014年3月初發(fā)生的馬來西亞航空公司MH370客機失聯(lián)事件為例，雖然號稱動用了十顆衛(wèi)星進(jìn)行搜救，但卻收效甚微，其根本原因就在于海量遙感數(shù)據(jù)計算的困難性，從衛(wèi)星獲取的遙感數(shù)據(jù)首先要經(jīng)過一系列校正處理才能投入使用，要在海域遙感數(shù)據(jù)中找到飛機影像信息還需要進(jìn)行精度要求較高的特征提取與識別，，在數(shù)據(jù)分辨率高、數(shù)據(jù)量大、時間倉促的情況下，現(xiàn)有技術(shù)無法及時有效的完成上述數(shù)據(jù)處理、提取與識別工作，導(dǎo)致雖然調(diào)用了大量資源卻無法達(dá)到預(yù)期目的的局面出現(xiàn)。 本文在課題組前期研究成果“面向數(shù)據(jù)的架構(gòu)”基礎(chǔ)上，針對遙感數(shù)據(jù)計算特點，分別對遙感數(shù)據(jù)的分布式計算理論、關(guān)鍵技術(shù)等進(jìn)行了深入研究，主要研究工作包括： （1）基礎(chǔ)設(shè)施與數(shù)據(jù)資源的統(tǒng)一描述方法研究。深入分析了計算機信息系統(tǒng)及其構(gòu)建方法的發(fā)展歷程，并對大數(shù)據(jù)相關(guān)理論和技術(shù)進(jìn)行了總結(jié)；在此基礎(chǔ)上，提出“廣義數(shù)據(jù)”的概念，并通過數(shù)學(xué)方法對其進(jìn)行了定義和描述；按照“廣義數(shù)據(jù)”的具體內(nèi)容，參考林奈分類法，設(shè)計了一種“廣義數(shù)據(jù)”的分類體系，并按照該體系對廣義數(shù)據(jù)類別進(jìn)行了初步劃分；設(shè)計了一種組合編碼的“廣義數(shù)據(jù)”編碼方法，并在此基礎(chǔ)上設(shè)計了基于元數(shù)據(jù)的“廣義數(shù)據(jù)”數(shù)學(xué)描述方法，實現(xiàn)對系統(tǒng)中基礎(chǔ)設(shè)施和數(shù)據(jù)資源的統(tǒng)一描述。 （2）海量遙感數(shù)據(jù)的分布式計算方法研究。分別對遙感數(shù)據(jù)的組織模型和分布式計算模型進(jìn)行了研究。建立了一種多層影像按需剖分的遙感數(shù)據(jù)組織模型——彈性影像金字塔模型，該模型將遙感數(shù)據(jù)劃分為多個影像區(qū)塊（Region），對該模型的構(gòu)建算法進(jìn)行了詳細(xì)闡述；設(shè)計了一種基于元數(shù)據(jù)的影像區(qū)塊存儲方法，并建立了一種通過影像區(qū)塊ID對其進(jìn)行封裝的方法。對遙感數(shù)據(jù)分布式計算的需求進(jìn)行了分析，并對其計算流程進(jìn)行了劃分，并定義了一種公式表示法，對遙感數(shù)據(jù)分布式計算模型進(jìn)行了描述。針對遙感數(shù)據(jù)分布式計算中的冗余結(jié)果問題，分別采用了空間密度聚類算法和基于小波變換的影像融合算法對矢量結(jié)果數(shù)據(jù)和柵格結(jié)果數(shù)據(jù)進(jìn)行處理。 （3）面向“廣義數(shù)據(jù)”的系統(tǒng)構(gòu)建技術(shù)研究。通過“廣義數(shù)據(jù)”概念對大數(shù)據(jù)系統(tǒng)構(gòu)建進(jìn)行了化簡，設(shè)計了一種面向“廣義數(shù)據(jù)”的DOA架構(gòu)，并著重對其中的分布式數(shù)據(jù)注冊中心關(guān)鍵技術(shù)進(jìn)行了研究。設(shè)計了一種分布式的內(nèi)存數(shù)據(jù)集——運行備份數(shù)據(jù)集，對其組成結(jié)構(gòu)、操作方式和工作狀態(tài)進(jìn)行了詳細(xì)設(shè)計，在此基礎(chǔ)上，設(shè)計了一種適用于分布式元數(shù)據(jù)管理的自適應(yīng)主從模型，該模型采用一種仿效Paxos的兩階段選舉算法SimpleElect實現(xiàn)了對主節(jié)點的自動選舉；通過性能仿真對該模型的基本性能、可用性、容錯性和擴展性進(jìn)行了分析。綜合運用上述技術(shù)，本文還設(shè)計了一種扁平化的數(shù)據(jù)注冊中心架構(gòu)，并對其工作機制進(jìn)行了分析。 （4）遙感數(shù)據(jù)分布式混合計算框架研究。綜合運用前述研究的各項理論和技術(shù)成果，對Chaos計算框架的總體架構(gòu)和各層實現(xiàn)進(jìn)行了設(shè)計，并將其應(yīng)用到嫦娥二號月球遙感影像數(shù)據(jù)的處理和計算中，作為實例展示。 本文取得的主要創(chuàng)新點包括： （1）提出了一種面向海量遙感數(shù)據(jù)的分布式混合計算方法模型。在深入研究批處理計算、流式計算、迭代計算等分布式計算模型的基礎(chǔ)上，提出了遙感數(shù)據(jù)分布式計算的劃分方法，將分布式計算過程分為遙感數(shù)據(jù)分割（Split）、分布式處理（Process）和結(jié)果數(shù)據(jù)歸并（Reduce）三個流程，并通過對這三個流程的組合調(diào)用實現(xiàn)不同的遙感數(shù)據(jù)計算模式。同時，還設(shè)計了一種遙感數(shù)據(jù)的組織管理模型——彈性影像金字塔模型，以解決分布式計算過程中的數(shù)據(jù)組織管理問題。 （2）提出了一種分布式數(shù)據(jù)注冊中心的構(gòu)架方法。分析了單點式數(shù)據(jù)注冊中心的架構(gòu)及其存在的問題，以目前大數(shù)據(jù)系統(tǒng)中元數(shù)據(jù)管理模型和技術(shù)為基礎(chǔ)，提出一種分布式的內(nèi)存抽象——運行-備份數(shù)據(jù)集，并在此基礎(chǔ)上設(shè)計了一種分布式元數(shù)據(jù)管理模型——自適應(yīng)主從模型。最后，綜合上述研究成果，設(shè)計并實現(xiàn)了一種扁平化的分布式數(shù)據(jù)注冊中心架構(gòu)，實現(xiàn)高效的分布式元數(shù)據(jù)管理。 （3）提出了一種信息系統(tǒng)中基礎(chǔ)設(shè)施與數(shù)據(jù)資源的統(tǒng)一描述方法。圍繞“以數(shù)據(jù)為核心”的理念，以實現(xiàn)“面向數(shù)據(jù)”為目標(biāo)，將系統(tǒng)中基礎(chǔ)設(shè)施和數(shù)據(jù)資源都囊括到“廣義數(shù)據(jù)”的概念中，并對其分類體系和描述方法展開研究，建立了一套通過“廣義數(shù)據(jù)”對分布式計算集群中基礎(chǔ)設(shè)施和數(shù)據(jù)資源進(jìn)行統(tǒng)一描述的方法體系；并將這種方法與“面向數(shù)據(jù)的體系架構(gòu)（DOA）”結(jié)合起來，建立了面向“廣義數(shù)據(jù)”的系統(tǒng)構(gòu)建方法。
【圖文】：

以及地質(zhì)遙感分析等；每類計算還可劃分為更詳細(xì)的計算內(nèi)容，如圖1-1。圖 1-1 遙感數(shù)據(jù)的計算類型圖由此可見，遙感數(shù)據(jù)相關(guān)計算的類型復(fù)雜、方法繁多、面向領(lǐng)域廣泛，現(xiàn)有的各種面向單一計算類型的計算技術(shù)，難以完全滿足具有上述特征的海量遙感數(shù)據(jù)計算需要。如何綜合運用大數(shù)據(jù)領(lǐng)域已有的各類分布式計算框架，確立適用于遙感數(shù)據(jù)計算的分布式計算模式，并建立分布式的混合計算框架，從而將多種復(fù)雜的遙感數(shù)據(jù)計算類型集中到一個計算集群中進(jìn)行統(tǒng)一處理，是海量遙感數(shù)據(jù)計算研究中必須解決的一個問題。

（4）設(shè)計面向“廣義數(shù)據(jù)”管理的扁平化數(shù)據(jù)注冊中心架構(gòu)。首先，深入分析現(xiàn)有集中式、雙層式和共享式資源管理框架的異同，明確其工作原理；其次基于前述元數(shù)據(jù)管理機制，設(shè)計一種扁平化的數(shù)據(jù)注冊中心架構(gòu)——PatchBoar模型；最后，分析 PatchBoard 模型的工作機制。（5）設(shè)計面向海量遙感數(shù)據(jù)的分布式混合計算框架。首先，根據(jù)面向“廣義數(shù)據(jù)”的 DOA 架構(gòu)，設(shè)計海量遙感數(shù)據(jù)分布式混合計算框架 Chaos 的總體架構(gòu)；然后，按照遙感數(shù)據(jù)分布式計算的流程，明確整個 Chaos 計算框架的工作機制。（6）完成 Chaos 計算框架原型系統(tǒng)。首先，選定開發(fā)平臺和開發(fā)語言；其次，設(shè)計原型系統(tǒng)整體功能和程序結(jié)構(gòu)；第三，完成計算框架原型系統(tǒng)各功能模塊編碼；第四，完成各模塊功能測試；第五，完成原型系統(tǒng)集成；最后，以“嫦娥二號”月球遙感影像數(shù)據(jù)處理為例，展示 Chaos 計算框架的實際應(yīng)用情況。本文研究技術(shù)路線如圖 1-2 所示
【學(xué)位授予單位】：成都理工大學(xué)
【學(xué)位級別】：博士
【學(xué)位授予年份】：2014
【分類號】：P237

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 ;遙感數(shù)據(jù)聚集于蓄水池應(yīng)急平臺[J];衛(wèi)星與網(wǎng)絡(luò);2013年04期

2 翟永,宋雪生;遙感數(shù)據(jù)成果的分級存儲管理[J];北京測繪;2005年02期

3 陳冬花;李虎;;中巴地球資源衛(wèi)星遙感數(shù)據(jù)應(yīng)用開發(fā)技術(shù)研究概述[J];亞熱帶資源與環(huán)境學(xué)報;2006年04期

4 Xin Zhuang ,Bernard A Eernard A Engel ,XiaopingXiong ,Chris J Johannsen ,李五夫;遙感數(shù)據(jù)分類結(jié)果分析及分類算法評價[J];黑龍江測繪;1995年04期

5 胡圣武,許輝,喻錚錚,潘正風(fēng);遙感數(shù)據(jù)的模糊不確定性及處理方法的探討[J];地礦測繪;2004年02期

6 胡圣武,許輝,喻錚錚,潘正風(fēng);論遙感數(shù)據(jù)的模糊不確定性[J];礦山測量;2004年04期

7 孫富春;;遙感數(shù)據(jù)共享系統(tǒng)在防洪抗旱中的應(yīng)用[J];黑龍江水利科技;2013年05期

8 ;多種遙感數(shù)據(jù)綜合分析的五個專題在北京通過驗收和成果鑒定[J];遙感技術(shù)與應(yīng)用;1991年01期

9 王棟;鄭逢斌;賴積保;余濤;李家國;郭珊;;基于五層十五級遙感數(shù)據(jù)結(jié)構(gòu)的并行算法研究[J];微計算機信息;2012年01期

10 劉其真;徐建華;何永保;;利用探空遙感數(shù)據(jù)生成氣象要素分布場[J];遙感技術(shù)動態(tài);1990年02期

相關(guān)會議論文 前10條

1 任娜;朱長青;;一種抗拼接的瓦片遙感數(shù)據(jù)水印算法[A];第四屆“測繪科學(xué)前沿技術(shù)論壇”論文精選[C];2012年

2 黃二輝;潘德爐;楊燕明;;海洋遙感數(shù)據(jù)的時空分布經(jīng)驗正交分析方法研究[A];第十五屆全國遙感技術(shù)學(xué)術(shù)交流會論文摘要集[C];2005年

3 徐國富;鄧正棟;于德浩;;基于遙感數(shù)據(jù)的民用渡口選址模型及實例分析[A];國家安全地球物理叢書（八）——遙感地球物理與國家安全[C];2012年

4 譚福強;董雙發(fā);;遙感數(shù)據(jù)的尺度效應(yīng)與遙感應(yīng)用[A];第十四屆全國遙感技術(shù)學(xué)術(shù)交流會論文摘要集[C];2003年

5 翟永;宋雪生;;遙感數(shù)據(jù)成果的分級存儲管理[A];第十五屆全國遙感技術(shù)學(xué)術(shù)交流會論文摘要集[C];2005年

6 李幸麗;杜培軍;;面向數(shù)字城市的遙感數(shù)據(jù)挖掘及其應(yīng)用[A];第十五屆全國遙感技術(shù)學(xué)術(shù)交流會論文摘要集[C];2005年

7 張偉;;高空間分辨率遙感數(shù)據(jù)的預(yù)處理方法——以泉州快鳥數(shù)據(jù)為例[A];2007年福建省土地學(xué)會年會征文集[C];2007年

8 謝鋒;潘明忠;亓洪興;徐衛(wèi)明;張雷;舒嶸;戴寧;薛永祺;;支持農(nóng)業(yè)遙感數(shù)據(jù)產(chǎn)品開發(fā)與驗證的相關(guān)技術(shù)進(jìn)展[A];全國農(nóng)業(yè)遙感技術(shù)研討會論文集[C];2009年

9 鐘志勇;陳映鷹;;海量遙感數(shù)據(jù)應(yīng)用方法初探[A];第十四屆全國遙感技術(shù)學(xué)術(shù)交流會論文摘要集[C];2003年

10 潘強;孫建中;倪麗萍;張杰;;上海城市遙感數(shù)據(jù)平臺的構(gòu)建及其在城市信息化進(jìn)程中的作用[A];第十四屆全國遙感技術(shù)學(xué)術(shù)交流會論文摘要集[C];2003年

相關(guān)重要報紙文章 前10條

1 陳城;遙感數(shù)據(jù)把脈京城未來規(guī)劃[N];建筑時報;2009年

2 本報記者 操秀英 陳磊;應(yīng)急“蓄水池”：遙感數(shù)據(jù)在這里匯聚[N];科技日報;2013年

3 王彤琪;黃河凌情遙感數(shù)據(jù)更豐富 應(yīng)用更便捷[N];黃河報;2009年

4 記者 李大慶;我國遙感數(shù)據(jù)信息利用率不足5%[N];科技日報;2011年

5 記者 李安利;測繪系統(tǒng)遙感數(shù)據(jù)服務(wù)體系日臻完善[N];中國測繪報;2003年

6 楊平;遙感數(shù)據(jù)有了處理新工具[N];科技日報;2003年

7 李紅梅;南亞:使用遙感數(shù)據(jù)監(jiān)測旱情[N];中國水利報;2012年

8 龐劍波 鄭雄偉;三峽庫區(qū)首獲航空遙感數(shù)據(jù)[N];地質(zhì)勘查導(dǎo)報;2009年

9 呂世充　蔚曉涵;武漢珈和遙感數(shù)據(jù)中心平臺服務(wù)農(nóng)業(yè)[N];中國測繪報;2014年

10 ;拓寬服務(wù)領(lǐng)域 提供高質(zhì)量遙感數(shù)據(jù)[N];中國測繪報;2002年

相關(guān)博士學(xué)位論文 前5條

1 馬超飛;基于關(guān)聯(lián)規(guī)則的遙感數(shù)據(jù)挖掘與應(yīng)用[D];中國科學(xué)院研究生院（遙感應(yīng)用研究所）;2002年

2 周松濤;海量遙感數(shù)據(jù)的高性能處理及可視化應(yīng)用研究[D];武漢大學(xué);2013年

3 常歌;基于遙感數(shù)據(jù)的城市景觀建模技術(shù)研究與實踐[D];解放軍信息工程大學(xué);2001年

4 哈斯巴干;神經(jīng)網(wǎng)絡(luò)及其組合算法的遙感數(shù)據(jù)分類研究[D];中國科學(xué)院研究生院（遙感應(yīng)用研究所）;2003年

5 穆超;基于多種遙感數(shù)據(jù)的電力線走廊特征物提取方法研究[D];武漢大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 張哲;基于海量遙感數(shù)據(jù)的集群并行處理技術(shù)研究與應(yīng)用[D];河南大學(xué);2012年

2 方聰;基于對等架構(gòu)的海量遙感數(shù)據(jù)分發(fā)系統(tǒng)的設(shè)計與實現(xiàn)[D];浙江大學(xué);2013年

3 史園莉;遙感數(shù)據(jù)集群處理系統(tǒng)架構(gòu)設(shè)計與實現(xiàn)[D];中國測繪科學(xué)研究院;2010年

4 王舒境;網(wǎng)絡(luò)環(huán)境下的海量地學(xué)遙感數(shù)據(jù)高效存儲與發(fā)布[D];浙江大學(xué);2006年

5 朱娟娟;基于多源影像的多角度遙感數(shù)據(jù)平臺的設(shè)計與開發(fā)[D];電子科技大學(xué);2008年

6 楊夢茹;基于計算存儲一體化策略的遙感數(shù)據(jù)高性能計算研究及應(yīng)用[D];河南大學(xué);2014年

7 陳超;遙感數(shù)據(jù)融合智能化處理方法研究[D];山東科技大學(xué);2009年

8 王娜;海洋遙感數(shù)據(jù)速報系統(tǒng)設(shè)計與實現(xiàn)[D];浙江大學(xué);2006年

9 曹廣生;基于Web服務(wù)的遙感數(shù)據(jù)共享與服務(wù)動態(tài)管理技術(shù)研究[D];山東科技大學(xué);2009年

10 徐勇;移動終端下環(huán)境星遙感數(shù)據(jù)共享機制的研究與應(yīng)用[D];河南大學(xué);2014年

本文編號：2554477