發(fā)布時(shí)間：2021-02-27 09:00

　　信息化的不斷發(fā)展為國(guó)土部門(mén)積累了大體量的、具有豐富價(jià)值的空間數(shù)據(jù)。近年來(lái),推動(dòng)國(guó)土大數(shù)據(jù)建設(shè),實(shí)現(xiàn)國(guó)土與測(cè)繪、地質(zhì)環(huán)境等部門(mén)的資源數(shù)據(jù)共享一直是國(guó)家政策熱點(diǎn)和國(guó)土部門(mén)的工作重心。實(shí)現(xiàn)數(shù)據(jù)規(guī)范統(tǒng)一是數(shù)據(jù)共享的前提,而國(guó)土數(shù)據(jù)種類多、結(jié)構(gòu)復(fù)雜、標(biāo)準(zhǔn)不一、多源多時(shí)相的數(shù)據(jù)特征給共享及統(tǒng)一應(yīng)用造成了巨大阻礙。數(shù)據(jù)質(zhì)量研究領(lǐng)域中的數(shù)據(jù)清洗技術(shù)能夠解決這一問(wèn)題。而傳統(tǒng)數(shù)據(jù)清洗方法一方面大多采用硬編碼方式設(shè)計(jì),靈活的低;另一方面大多基于單機(jī)計(jì)算架構(gòu),難以支撐大體量數(shù)據(jù)的清洗需求。數(shù)據(jù)清洗中應(yīng)用最廣泛的Drools規(guī)則引擎存在計(jì)算效率低下和規(guī)則與后臺(tái)編碼耦合度太高的問(wèn)題,并且缺乏借助大數(shù)據(jù)技術(shù)手段對(duì)數(shù)據(jù)空間幾何部分進(jìn)行清洗的清洗方法。本文分析了國(guó)土空間大數(shù)據(jù)現(xiàn)狀特征及國(guó)土大數(shù)據(jù)應(yīng)用對(duì)于數(shù)據(jù)清洗的需求,提出了一種規(guī)則引擎驅(qū)動(dòng)下的國(guó)土空間大數(shù)據(jù)清洗方法。方法基于ArcSDE數(shù)據(jù)結(jié)構(gòu)及SDELOB壓縮方式的分析結(jié)果,編碼實(shí)現(xiàn)了一種利用MapReduce并行大數(shù)據(jù)計(jì)算框架的國(guó)土空間大數(shù)據(jù)集成轉(zhuǎn)換算法,實(shí)現(xiàn)關(guān)系型空間數(shù)據(jù)庫(kù)中數(shù)據(jù)向國(guó)土空間大數(shù)據(jù)池的高效集成轉(zhuǎn)換�；诩赊D(zhuǎn)換后的數(shù)據(jù),通過(guò)定義國(guó)土空間大數(shù)據(jù)清洗規(guī)... 

【文章來(lái)源】：云南師范大學(xué)云南省

【文章頁(yè)數(shù)】：82 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

Rete算法原理圖

第二章 大數(shù)據(jù)技術(shù)與國(guó)土大數(shù)據(jù)概況數(shù)據(jù)獲取方案[46-47]。而若采用 HDFS 文件存儲(chǔ)則只能將柵格數(shù)據(jù)原原本本存儲(chǔ)，提供柵格數(shù)據(jù)的原始備份，無(wú)法使其能夠直接支撐進(jìn)行涉及柵格信息的大數(shù)據(jù)計(jì)算。對(duì)于矢量數(shù)據(jù)，由于其記錄間獨(dú)立、字段結(jié)構(gòu)化的特點(diǎn)，針對(duì)覆蓋范圍廣、構(gòu)成點(diǎn)多或字段記錄多的大體量矢量數(shù)據(jù)，HDFS 文件形式可以作為其在大數(shù)據(jù)環(huán)境中的原始備份數(shù)據(jù)和基本應(yīng)用數(shù)據(jù)。由于 GeoDatabase 數(shù)據(jù)模型是 ArcGIS基于關(guān)系型數(shù)據(jù)庫(kù)制定的的數(shù)據(jù)組織壓縮方案，因此將矢量數(shù)據(jù)存入 HDFS 必須要確定一種符合 HDFS 存儲(chǔ)要求、按行劃分的能夠?qū)⒖臻g、非空間信息全部展示的 Key/Value 數(shù)據(jù)結(jié)構(gòu)的存儲(chǔ)格式。

第二章 大數(shù)據(jù)技術(shù)與國(guó)土大數(shù)據(jù)概況者也能根據(jù)其掌握的 SQL 知識(shí)進(jìn)行大數(shù)據(jù)查詢計(jì)算；提供大數(shù)據(jù)文件映射到表的功能，擴(kuò)展性良好。相應(yīng)，Hive 同樣具備著 HDFS 存在的僅適用于高延遲靜態(tài)批處理，實(shí)時(shí)訪問(wèn)性能差，并且 Hive 提供的 SQL 數(shù)量少于標(biāo)準(zhǔn) SQL，其表達(dá)能力有限。

【參考文獻(xiàn)】：
期刊論文
[1]云環(huán)境下海量空間矢量數(shù)據(jù)并行劃分算法[J]. 姚曉闖,楊建宇,李林,葉思菁,鄖文聚,朱德海.  武漢大學(xué)學(xué)報(bào)(信息科學(xué)版). 2018(07)
[2]基于HBase的海量GIS數(shù)據(jù)分布式處理實(shí)踐[J]. 李雪梅,邢俊峰,劉大偉,王海洋,劉瑋.  大數(shù)據(jù). 2016(03)
[3]Hadoop支持下的地理信息大數(shù)據(jù)處理技術(shù)初探[J]. 王凱,曹建成,王乃生,郭朝陽(yáng),張哲.  測(cè)繪通報(bào). 2015(10)
[4]基于任務(wù)合并的并行大數(shù)據(jù)清洗過(guò)程優(yōu)化[J]. 楊東華,李寧寧,王宏志,李建中,高宏.  計(jì)算機(jī)學(xué)報(bào). 2016(01)
[5]基于HBase和GeoTools的矢量空間數(shù)據(jù)存儲(chǔ)模型研究[J]. 鄭坤,付艷麗.  計(jì)算機(jī)應(yīng)用與軟件. 2015(03)
[6]基于規(guī)則引擎與空間聚類分析的多源地震災(zāi)情數(shù)據(jù)清洗策略研究[J]. 郭紅梅,陳維鋒,張瑩,申源.  震災(zāi)防御技術(shù). 2015(04)
[7]大數(shù)據(jù)GIS[J]. 李清泉,李德仁.  武漢大學(xué)學(xué)報(bào)(信息科學(xué)版). 2014(06)
[8]基于Map-Reduce的大數(shù)據(jù)實(shí)體識(shí)別算法[J]. 霍然,王宏志,朱鎔,李建中,高宏.  計(jì)算機(jī)研究與發(fā)展. 2013(S2)
[9]支持演化規(guī)則引擎的Rete算法研究[J]. 武丹鳳,曾廣平,閆京穎.  計(jì)算機(jī)應(yīng)用研究. 2013(06)
[10]數(shù)據(jù)清洗及其一般性系統(tǒng)框架[J]. 曹建軍,刁興春,陳爽,邵衍振.  計(jì)算機(jī)科學(xué). 2012(S3)

碩士論文
[1]面向農(nóng)業(yè)領(lǐng)域知識(shí)庫(kù)構(gòu)建的數(shù)據(jù)清洗方法優(yōu)化研究[D]. 盛丹丹.中國(guó)農(nóng)業(yè)科學(xué)院 2016
[2]基于Spark的大數(shù)據(jù)清洗框架設(shè)計(jì)與實(shí)現(xiàn)[D]. 金翰偉.浙江大學(xué) 2016
[3]直接訪問(wèn)ArcSDE空間數(shù)據(jù)模型的技術(shù)方法研究[D]. 周龍廷.華東師范大學(xué) 2011
[4]基于MapReduce的分布式規(guī)則匹配系統(tǒng)的研究與實(shí)現(xiàn)[D]. 張琦.浙江大學(xué) 2011
[5]基于Hadoop的海量影像數(shù)據(jù)管理關(guān)鍵技術(shù)研究[D]. 霍樹(shù)民.國(guó)防科學(xué)技術(shù)大學(xué) 2010
[6]基于規(guī)則的數(shù)據(jù)處理系統(tǒng)[D]. 屈志勇.吉林大學(xué) 2009
[7]基于Java規(guī)則引擎的動(dòng)態(tài)數(shù)據(jù)清洗研究與設(shè)計(jì)[D]. 曹永亮.武漢理工大學(xué) 2008
[8]數(shù)據(jù)清洗的若干關(guān)鍵技術(shù)研究[D]. 包從劍.江蘇大學(xué) 2007



本文編號(hào)：3053998