【摘要】：遙感數(shù)據(jù)是地球信息科學(xué)及其相關(guān)領(lǐng)域科學(xué)研究和生產(chǎn)工作中最重要的基礎(chǔ)性資源，其應(yīng)用已覆蓋了地球信息科學(xué)相關(guān)的各個(gè)領(lǐng)域�；谶b感數(shù)據(jù)（特別是高分辨率遙感影像數(shù)據(jù)）的信息提取，是遙感數(shù)據(jù)的主要應(yīng)用方式，是智能城市、環(huán)境監(jiān)測(cè)、地質(zhì)災(zāi)害預(yù)警、土地利用監(jiān)測(cè)、植被監(jiān)測(cè)、水體和海洋遙感、農(nóng)業(yè)遙感和大氣研究等行業(yè)進(jìn)行科研和生產(chǎn)工作的常用技術(shù)手段。而如何對(duì)遙感數(shù)據(jù)進(jìn)行有效的組織、管理、處理、計(jì)算與分析，是進(jìn)行遙感數(shù)據(jù)信息提取的前提。隨著3S技術(shù)和信息技術(shù)的不斷發(fā)展，多源、多時(shí)空分辨率的遙感數(shù)據(jù)呈現(xiàn)出海量化趨勢(shì)，累計(jì)數(shù)據(jù)量往往達(dá)到TB甚至PB級(jí)。以嫦娥二號(hào)月球影像數(shù)據(jù)為例，原始條帶影像的數(shù)據(jù)量已達(dá)到3TB，處理完成后的產(chǎn)品數(shù)據(jù)也高達(dá)800GB，這樣龐大的數(shù)據(jù)量，已遠(yuǎn)遠(yuǎn)超出一般圖形工作站的處理能力，對(duì)遙感數(shù)據(jù)的存儲(chǔ)、管理和計(jì)算都提出了新的要求。以發(fā)生于2014年3月初發(fā)生的馬來(lái)西亞航空公司MH370客機(jī)失聯(lián)事件為例，雖然號(hào)稱動(dòng)用了十顆衛(wèi)星進(jìn)行搜救，但卻收效甚微，其根本原因就在于海量遙感數(shù)據(jù)計(jì)算的困難性，從衛(wèi)星獲取的遙感數(shù)據(jù)首先要經(jīng)過(guò)一系列校正處理才能投入使用，要在海域遙感數(shù)據(jù)中找到飛機(jī)影像信息還需要進(jìn)行精度要求較高的特征提取與識(shí)別，，在數(shù)據(jù)分辨率高、數(shù)據(jù)量大、時(shí)間倉(cāng)促的情況下，現(xiàn)有技術(shù)無(wú)法及時(shí)有效的完成上述數(shù)據(jù)處理、提取與識(shí)別工作，導(dǎo)致雖然調(diào)用了大量資源卻無(wú)法達(dá)到預(yù)期目的的局面出現(xiàn)。 本文在課題組前期研究成果“面向數(shù)據(jù)的架構(gòu)”基礎(chǔ)上，針對(duì)遙感數(shù)據(jù)計(jì)算特點(diǎn)，分別對(duì)遙感數(shù)據(jù)的分布式計(jì)算理論、關(guān)鍵技術(shù)等進(jìn)行了深入研究，主要研究工作包括： （1）基礎(chǔ)設(shè)施與數(shù)據(jù)資源的統(tǒng)一描述方法研究。深入分析了計(jì)算機(jī)信息系統(tǒng)及其構(gòu)建方法的發(fā)展歷程，并對(duì)大數(shù)據(jù)相關(guān)理論和技術(shù)進(jìn)行了總結(jié)；在此基礎(chǔ)上，提出“廣義數(shù)據(jù)”的概念，并通過(guò)數(shù)學(xué)方法對(duì)其進(jìn)行了定義和描述；按照“廣義數(shù)據(jù)”的具體內(nèi)容，參考林奈分類法，設(shè)計(jì)了一種“廣義數(shù)據(jù)”的分類體系，并按照該體系對(duì)廣義數(shù)據(jù)類別進(jìn)行了初步劃分；設(shè)計(jì)了一種組合編碼的“廣義數(shù)據(jù)”編碼方法，并在此基礎(chǔ)上設(shè)計(jì)了基于元數(shù)據(jù)的“廣義數(shù)據(jù)”數(shù)學(xué)描述方法，實(shí)現(xiàn)對(duì)系統(tǒng)中基礎(chǔ)設(shè)施和數(shù)據(jù)資源的統(tǒng)一描述。 （2）海量遙感數(shù)據(jù)的分布式計(jì)算方法研究。分別對(duì)遙感數(shù)據(jù)的組織模型和分布式計(jì)算模型進(jìn)行了研究。建立了一種多層影像按需剖分的遙感數(shù)據(jù)組織模型——彈性影像金字塔模型，該模型將遙感數(shù)據(jù)劃分為多個(gè)影像區(qū)塊（Region），對(duì)該模型的構(gòu)建算法進(jìn)行了詳細(xì)闡述；設(shè)計(jì)了一種基于元數(shù)據(jù)的影像區(qū)塊存儲(chǔ)方法，并建立了一種通過(guò)影像區(qū)塊ID對(duì)其進(jìn)行封裝的方法。對(duì)遙感數(shù)據(jù)分布式計(jì)算的需求進(jìn)行了分析，并對(duì)其計(jì)算流程進(jìn)行了劃分，并定義了一種公式表示法，對(duì)遙感數(shù)據(jù)分布式計(jì)算模型進(jìn)行了描述。針對(duì)遙感數(shù)據(jù)分布式計(jì)算中的冗余結(jié)果問(wèn)題，分別采用了空間密度聚類算法和基于小波變換的影像融合算法對(duì)矢量結(jié)果數(shù)據(jù)和柵格結(jié)果數(shù)據(jù)進(jìn)行處理。 （3）面向“廣義數(shù)據(jù)”的系統(tǒng)構(gòu)建技術(shù)研究。通過(guò)“廣義數(shù)據(jù)”概念對(duì)大數(shù)據(jù)系統(tǒng)構(gòu)建進(jìn)行了化簡(jiǎn)，設(shè)計(jì)了一種面向“廣義數(shù)據(jù)”的DOA架構(gòu)，并著重對(duì)其中的分布式數(shù)據(jù)注冊(cè)中心關(guān)鍵技術(shù)進(jìn)行了研究。設(shè)計(jì)了一種分布式的內(nèi)存數(shù)據(jù)集——運(yùn)行備份數(shù)據(jù)集，對(duì)其組成結(jié)構(gòu)、操作方式和工作狀態(tài)進(jìn)行了詳細(xì)設(shè)計(jì)，在此基礎(chǔ)上，設(shè)計(jì)了一種適用于分布式元數(shù)據(jù)管理的自適應(yīng)主從模型，該模型采用一種仿效Paxos的兩階段選舉算法SimpleElect實(shí)現(xiàn)了對(duì)主節(jié)點(diǎn)的自動(dòng)選舉；通過(guò)性能仿真對(duì)該模型的基本性能、可用性、容錯(cuò)性和擴(kuò)展性進(jìn)行了分析。綜合運(yùn)用上述技術(shù)，本文還設(shè)計(jì)了一種扁平化的數(shù)據(jù)注冊(cè)中心架構(gòu)，并對(duì)其工作機(jī)制進(jìn)行了分析。 （4）遙感數(shù)據(jù)分布式混合計(jì)算框架研究。綜合運(yùn)用前述研究的各項(xiàng)理論和技術(shù)成果，對(duì)Chaos計(jì)算框架的總體架構(gòu)和各層實(shí)現(xiàn)進(jìn)行了設(shè)計(jì)，并將其應(yīng)用到嫦娥二號(hào)月球遙感影像數(shù)據(jù)的處理和計(jì)算中，作為實(shí)例展示。 本文取得的主要?jiǎng)?chuàng)新點(diǎn)包括： （1）提出了一種面向海量遙感數(shù)據(jù)的分布式混合計(jì)算方法模型。在深入研究批處理計(jì)算、流式計(jì)算、迭代計(jì)算等分布式計(jì)算模型的基礎(chǔ)上，提出了遙感數(shù)據(jù)分布式計(jì)算的劃分方法，將分布式計(jì)算過(guò)程分為遙感數(shù)據(jù)分割（Split）、分布式處理（Process）和結(jié)果數(shù)據(jù)歸并（Reduce）三個(gè)流程，并通過(guò)對(duì)這三個(gè)流程的組合調(diào)用實(shí)現(xiàn)不同的遙感數(shù)據(jù)計(jì)算模式。同時(shí)，還設(shè)計(jì)了一種遙感數(shù)據(jù)的組織管理模型——彈性影像金字塔模型，以解決分布式計(jì)算過(guò)程中的數(shù)據(jù)組織管理問(wèn)題。 （2）提出了一種分布式數(shù)據(jù)注冊(cè)中心的構(gòu)架方法。分析了單點(diǎn)式數(shù)據(jù)注冊(cè)中心的架構(gòu)及其存在的問(wèn)題，以目前大數(shù)據(jù)系統(tǒng)中元數(shù)據(jù)管理模型和技術(shù)為基礎(chǔ)，提出一種分布式的內(nèi)存抽象——運(yùn)行-備份數(shù)據(jù)集，并在此基礎(chǔ)上設(shè)計(jì)了一種分布式元數(shù)據(jù)管理模型——自適應(yīng)主從模型。最后，綜合上述研究成果，設(shè)計(jì)并實(shí)現(xiàn)了一種扁平化的分布式數(shù)據(jù)注冊(cè)中心架構(gòu)，實(shí)現(xiàn)高效的分布式元數(shù)據(jù)管理。 （3）提出了一種信息系統(tǒng)中基礎(chǔ)設(shè)施與數(shù)據(jù)資源的統(tǒng)一描述方法。圍繞“以數(shù)據(jù)為核心”的理念，以實(shí)現(xiàn)“面向數(shù)據(jù)”為目標(biāo)，將系統(tǒng)中基礎(chǔ)設(shè)施和數(shù)據(jù)資源都囊括到“廣義數(shù)據(jù)”的概念中，并對(duì)其分類體系和描述方法展開(kāi)研究，建立了一套通過(guò)“廣義數(shù)據(jù)”對(duì)分布式計(jì)算集群中基礎(chǔ)設(shè)施和數(shù)據(jù)資源進(jìn)行統(tǒng)一描述的方法體系；并將這種方法與“面向數(shù)據(jù)的體系架構(gòu)（DOA）”結(jié)合起來(lái)，建立了面向“廣義數(shù)據(jù)”的系統(tǒng)構(gòu)建方法。
【圖文】：

以及地質(zhì)遙感分析等；每類計(jì)算還可劃分為更詳細(xì)的計(jì)算內(nèi)容，如圖1-1。圖 1-1 遙感數(shù)據(jù)的計(jì)算類型圖由此可見(jiàn)，遙感數(shù)據(jù)相關(guān)計(jì)算的類型復(fù)雜、方法繁多、面向領(lǐng)域廣泛，現(xiàn)有的各種面向單一計(jì)算類型的計(jì)算技術(shù)，難以完全滿足具有上述特征的海量遙感數(shù)據(jù)計(jì)算需要。如何綜合運(yùn)用大數(shù)據(jù)領(lǐng)域已有的各類分布式計(jì)算框架，確立適用于遙感數(shù)據(jù)計(jì)算的分布式計(jì)算模式，并建立分布式的混合計(jì)算框架，從而將多種復(fù)雜的遙感數(shù)據(jù)計(jì)算類型集中到一個(gè)計(jì)算集群中進(jìn)行統(tǒng)一處理，是海量遙感數(shù)據(jù)計(jì)算研究中必須解決的一個(gè)問(wèn)題。

（4）設(shè)計(jì)面向“廣義數(shù)據(jù)”管理的扁平化數(shù)據(jù)注冊(cè)中心架構(gòu)。首先，深入分析現(xiàn)有集中式、雙層式和共享式資源管理框架的異同，明確其工作原理；其次基于前述元數(shù)據(jù)管理機(jī)制，設(shè)計(jì)一種扁平化的數(shù)據(jù)注冊(cè)中心架構(gòu)——PatchBoar模型；最后，分析 PatchBoard 模型的工作機(jī)制。（5）設(shè)計(jì)面向海量遙感數(shù)據(jù)的分布式混合計(jì)算框架。首先，根據(jù)面向“廣義數(shù)據(jù)”的 DOA 架構(gòu)，設(shè)計(jì)海量遙感數(shù)據(jù)分布式混合計(jì)算框架 Chaos 的總體架構(gòu)；然后，按照遙感數(shù)據(jù)分布式計(jì)算的流程，明確整個(gè) Chaos 計(jì)算框架的工作機(jī)制。（6）完成 Chaos 計(jì)算框架原型系統(tǒng)。首先，選定開(kāi)發(fā)平臺(tái)和開(kāi)發(fā)語(yǔ)言；其次，設(shè)計(jì)原型系統(tǒng)整體功能和程序結(jié)構(gòu)；第三，完成計(jì)算框架原型系統(tǒng)各功能模塊編碼；第四，完成各模塊功能測(cè)試；第五，完成原型系統(tǒng)集成；最后，以“嫦娥二號(hào)”月球遙感影像數(shù)據(jù)處理為例，展示 Chaos 計(jì)算框架的實(shí)際應(yīng)用情況。本文研究技術(shù)路線如圖 1-2 所示
【學(xué)位授予單位】：成都理工大學(xué)
【學(xué)位級(jí)別】：博士
【學(xué)位授予年份】：2014
【分類號(hào)】：P237

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 ;遙感數(shù)據(jù)聚集于蓄水池應(yīng)急平臺(tái)[J];衛(wèi)星與網(wǎng)絡(luò);2013年04期

2 翟永,宋雪生;遙感數(shù)據(jù)成果的分級(jí)存儲(chǔ)管理[J];北京測(cè)繪;2005年02期

3 陳冬花;李虎;;中巴地球資源衛(wèi)星遙感數(shù)據(jù)應(yīng)用開(kāi)發(fā)技術(shù)研究概述[J];亞熱帶資源與環(huán)境學(xué)報(bào);2006年04期

4 Xin Zhuang ,Bernard A Eernard A Engel ,XiaopingXiong ,Chris J Johannsen ,李五夫;遙感數(shù)據(jù)分類結(jié)果分析及分類算法評(píng)價(jià)[J];黑龍江測(cè)繪;1995年04期

5 胡圣武,許輝,喻錚錚,潘正風(fēng);遙感數(shù)據(jù)的模糊不確定性及處理方法的探討[J];地礦測(cè)繪;2004年02期

6 胡圣武,許輝,喻錚錚,潘正風(fēng);論遙感數(shù)據(jù)的模糊不確定性[J];礦山測(cè)量;2004年04期

7 孫富春;;遙感數(shù)據(jù)共享系統(tǒng)在防洪抗旱中的應(yīng)用[J];黑龍江水利科技;2013年05期

8 ;多種遙感數(shù)據(jù)綜合分析的五個(gè)專題在北京通過(guò)驗(yàn)收和成果鑒定[J];遙感技術(shù)與應(yīng)用;1991年01期

9 王棟;鄭逢斌;賴積保;余濤;李家國(guó);郭珊;;基于五層十五級(jí)遙感數(shù)據(jù)結(jié)構(gòu)的并行算法研究[J];微計(jì)算機(jī)信息;2012年01期

10 劉其真;徐建華;何永保;;利用探空遙感數(shù)據(jù)生成氣象要素分布場(chǎng)[J];遙感技術(shù)動(dòng)態(tài);1990年02期

相關(guān)會(huì)議論文 前10條

1 任娜;朱長(zhǎng)青;;一種抗拼接的瓦片遙感數(shù)據(jù)水印算法[A];第四屆“測(cè)繪科學(xué)前沿技術(shù)論壇”論文精選[C];2012年

2 黃二輝;潘德?tīng)t;楊燕明;;海洋遙感數(shù)據(jù)的時(shí)空分布經(jīng)驗(yàn)正交分析方法研究[A];第十五屆全國(guó)遙感技術(shù)學(xué)術(shù)交流會(huì)論文摘要集[C];2005年

3 徐國(guó)富;鄧正棟;于德浩;;基于遙感數(shù)據(jù)的民用渡口選址模型及實(shí)例分析[A];國(guó)家安全地球物理叢書(shū)（八）——遙感地球物理與國(guó)家安全[C];2012年

4 譚福強(qiáng);董雙發(fā);;遙感數(shù)據(jù)的尺度效應(yīng)與遙感應(yīng)用[A];第十四屆全國(guó)遙感技術(shù)學(xué)術(shù)交流會(huì)論文摘要集[C];2003年

5 翟永;宋雪生;;遙感數(shù)據(jù)成果的分級(jí)存儲(chǔ)管理[A];第十五屆全國(guó)遙感技術(shù)學(xué)術(shù)交流會(huì)論文摘要集[C];2005年

6 李幸麗;杜培軍;;面向數(shù)字城市的遙感數(shù)據(jù)挖掘及其應(yīng)用[A];第十五屆全國(guó)遙感技術(shù)學(xué)術(shù)交流會(huì)論文摘要集[C];2005年

7 張偉;;高空間分辨率遙感數(shù)據(jù)的預(yù)處理方法——以泉州快鳥(niǎo)數(shù)據(jù)為例[A];2007年福建省土地學(xué)會(huì)年會(huì)征文集[C];2007年

8 謝鋒;潘明忠;亓洪興;徐衛(wèi)明;張雷;舒嶸;戴寧;薛永祺;;支持農(nóng)業(yè)遙感數(shù)據(jù)產(chǎn)品開(kāi)發(fā)與驗(yàn)證的相關(guān)技術(shù)進(jìn)展[A];全國(guó)農(nóng)業(yè)遙感技術(shù)研討會(huì)論文集[C];2009年

9 鐘志勇;陳映鷹;;海量遙感數(shù)據(jù)應(yīng)用方法初探[A];第十四屆全國(guó)遙感技術(shù)學(xué)術(shù)交流會(huì)論文摘要集[C];2003年

10 潘強(qiáng);孫建中;倪麗萍;張杰;;上海城市遙感數(shù)據(jù)平臺(tái)的構(gòu)建及其在城市信息化進(jìn)程中的作用[A];第十四屆全國(guó)遙感技術(shù)學(xué)術(shù)交流會(huì)論文摘要集[C];2003年

相關(guān)重要報(bào)紙文章 前10條

1 陳城;遙感數(shù)據(jù)把脈京城未來(lái)規(guī)劃[N];建筑時(shí)報(bào);2009年

2 本報(bào)記者 操秀英 陳磊;應(yīng)急“蓄水池”：遙感數(shù)據(jù)在這里匯聚[N];科技日?qǐng)?bào);2013年

3 王彤琪;黃河凌情遙感數(shù)據(jù)更豐富 應(yīng)用更便捷[N];黃河報(bào);2009年

4 記者 李大慶;我國(guó)遙感數(shù)據(jù)信息利用率不足5%[N];科技日?qǐng)?bào);2011年

5 記者 李安利;測(cè)繪系統(tǒng)遙感數(shù)據(jù)服務(wù)體系日臻完善[N];中國(guó)測(cè)繪報(bào);2003年

6 楊平;遙感數(shù)據(jù)有了處理新工具[N];科技日?qǐng)?bào);2003年

7 李紅梅;南亞:使用遙感數(shù)據(jù)監(jiān)測(cè)旱情[N];中國(guó)水利報(bào);2012年

8 龐劍波 鄭雄偉;三峽庫(kù)區(qū)首獲航空遙感數(shù)據(jù)[N];地質(zhì)勘查導(dǎo)報(bào);2009年

9 呂世充　蔚曉涵;武漢珈和遙感數(shù)據(jù)中心平臺(tái)服務(wù)農(nóng)業(yè)[N];中國(guó)測(cè)繪報(bào);2014年

10 ;拓寬服務(wù)領(lǐng)域 提供高質(zhì)量遙感數(shù)據(jù)[N];中國(guó)測(cè)繪報(bào);2002年

相關(guān)博士學(xué)位論文 前5條

1 馬超飛;基于關(guān)聯(lián)規(guī)則的遙感數(shù)據(jù)挖掘與應(yīng)用[D];中國(guó)科學(xué)院研究生院（遙感應(yīng)用研究所）;2002年

2 周松濤;海量遙感數(shù)據(jù)的高性能處理及可視化應(yīng)用研究[D];武漢大學(xué);2013年

3 常歌;基于遙感數(shù)據(jù)的城市景觀建模技術(shù)研究與實(shí)踐[D];解放軍信息工程大學(xué);2001年

4 哈斯巴干;神經(jīng)網(wǎng)絡(luò)及其組合算法的遙感數(shù)據(jù)分類研究[D];中國(guó)科學(xué)院研究生院（遙感應(yīng)用研究所）;2003年

5 穆超;基于多種遙感數(shù)據(jù)的電力線走廊特征物提取方法研究[D];武漢大學(xué);2010年

相關(guān)碩士學(xué)位論文 前10條

1 張哲;基于海量遙感數(shù)據(jù)的集群并行處理技術(shù)研究與應(yīng)用[D];河南大學(xué);2012年

2 方聰;基于對(duì)等架構(gòu)的海量遙感數(shù)據(jù)分發(fā)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];浙江大學(xué);2013年

3 史園莉;遙感數(shù)據(jù)集群處理系統(tǒng)架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)[D];中國(guó)測(cè)繪科學(xué)研究院;2010年

4 王舒境;網(wǎng)絡(luò)環(huán)境下的海量地學(xué)遙感數(shù)據(jù)高效存儲(chǔ)與發(fā)布[D];浙江大學(xué);2006年

5 朱娟娟;基于多源影像的多角度遙感數(shù)據(jù)平臺(tái)的設(shè)計(jì)與開(kāi)發(fā)[D];電子科技大學(xué);2008年

6 楊夢(mèng)茹;基于計(jì)算存儲(chǔ)一體化策略的遙感數(shù)據(jù)高性能計(jì)算研究及應(yīng)用[D];河南大學(xué);2014年

7 陳超;遙感數(shù)據(jù)融合智能化處理方法研究[D];山東科技大學(xué);2009年

8 王娜;海洋遙感數(shù)據(jù)速報(bào)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];浙江大學(xué);2006年

9 曹廣生;基于Web服務(wù)的遙感數(shù)據(jù)共享與服務(wù)動(dòng)態(tài)管理技術(shù)研究[D];山東科技大學(xué);2009年

10 徐勇;移動(dòng)終端下環(huán)境星遙感數(shù)據(jù)共享機(jī)制的研究與應(yīng)用[D];河南大學(xué);2014年

本文編號(hào)：2554477