發(fā)布時(shí)間：2018-03-15 06:07

  本文選題：分布式文件系統(tǒng)　切入點(diǎn)：地理柵格　出處：《國(guó)防科學(xué)技術(shù)大學(xué)》2013年碩士論文　論文類型：學(xué)位論文

【摘要】：隨著衛(wèi)星、航空測(cè)繪和遙感技術(shù)的發(fā)展,地理影像信息獲取越來越快捷,全球影像數(shù)據(jù)集規(guī)模迅速膨脹,由此帶來的好處是地理信息系統(tǒng)有能力展現(xiàn)全球每個(gè)角落的精細(xì)地圖。但如此海量的地理信息數(shù)據(jù)也給信息系統(tǒng)研發(fā)和建設(shè)帶來了很大難題,其中海量地理柵格數(shù)據(jù)的存儲(chǔ)和訪問就是難點(diǎn)問題之一。以18層金字塔的全球柵格文件為例,文件數(shù)量將達(dá)到二百億以上規(guī)模,數(shù)據(jù)量達(dá)到PB以上。而且由于地理信息系統(tǒng)需要提供數(shù)據(jù)在線即時(shí)服務(wù),使得對(duì)后臺(tái)存儲(chǔ)系統(tǒng)的文件訪問延遲、并發(fā)訪問能力以及容錯(cuò)性要求都很高。目前開源的海量文件系統(tǒng)和存儲(chǔ)系統(tǒng)不具備這樣的海量存儲(chǔ)和低延時(shí)訪問能力�；谏鲜鲂枨�,課題組實(shí)現(xiàn)了SMDFS分布式文件系統(tǒng),基于HDFS對(duì)文件系統(tǒng)結(jié)構(gòu)進(jìn)行改造,以目錄為單位將小文件合并成大文件進(jìn)行存儲(chǔ),并設(shè)計(jì)了兩級(jí)元數(shù)據(jù)結(jié)構(gòu),第一級(jí)與HDFS一樣以大文件為單位進(jìn)行管理,第二級(jí)管理大文件內(nèi)的小文件,第二級(jí)元數(shù)據(jù)分散在數(shù)據(jù)服務(wù)器集群中,很好地解決海量小文件存儲(chǔ)與低延時(shí)訪問問題。SMDFS主要適用于一個(gè)目錄下會(huì)有大量小文件的場(chǎng)景。然而地理柵格數(shù)據(jù)的一種主要組織方式是金字塔方式。一個(gè)金字塔代表一個(gè)地理區(qū)域的柵格文件集合,通常表現(xiàn)形式是多層四叉樹目錄。除了葉結(jié)點(diǎn)外,每個(gè)目錄有四個(gè)子目錄,每個(gè)目錄下存儲(chǔ)幾張影像圖片。因此這樣的組織方式顯然不適合基于目錄進(jìn)行合并存儲(chǔ),因?yàn)椴粫?huì)大幅減少元數(shù)據(jù)服務(wù)器的元數(shù)據(jù)量,使得存儲(chǔ)能力和訪問效率很低。針對(duì)海量柵格文件存儲(chǔ)和訪問引發(fā)的問題,論文提出了聚合空間技術(shù)。聚合空間是一個(gè)文件聚合單位,一個(gè)聚合空間里的文件合并為一個(gè)聚合文件進(jìn)行存儲(chǔ),文件系統(tǒng)元數(shù)據(jù)服務(wù)器維護(hù)聚合文件的索引信息,數(shù)據(jù)服務(wù)器維護(hù)聚合文件內(nèi)小文件的索引信息。聚合空間在分布式文件系統(tǒng)中組織成樹狀結(jié)構(gòu),一個(gè)聚合空間內(nèi)包含多個(gè)子聚合空間。海量文件存儲(chǔ)時(shí),可根據(jù)文件目錄結(jié)構(gòu),選擇或設(shè)計(jì)一個(gè)優(yōu)秀映射算法,將之映射為一個(gè)文件聚合空間結(jié)構(gòu),使得每個(gè)聚合空間內(nèi)包含大量小文件,出色地提高存儲(chǔ)能力和訪問效率。針對(duì)金字塔柵格文件,論文提出并設(shè)計(jì)了對(duì)折聚合算法,將金字塔文件目錄結(jié)構(gòu)映射為文件聚合空間結(jié)構(gòu)。對(duì)折聚合算法和技術(shù)通過將n層金字塔文件目錄結(jié)構(gòu)映射為?n2/?層金字塔文件聚合空間結(jié)構(gòu),滿足在金字塔文件目錄結(jié)構(gòu)下,具有相同祖先目錄的同層文件映射到同一聚合空間,實(shí)現(xiàn)了地理相鄰的柵格文件存儲(chǔ)也相鄰的高效聚合。通過對(duì)折聚合算法,一個(gè)聚合空間下的文件與原來一個(gè)目錄下文件數(shù)量對(duì)比平均增加了?n/2?4倍,可以有效提高了金字塔文件的存儲(chǔ)和訪問效率。論文基于SMDFS分布式文件系統(tǒng),研究設(shè)計(jì)了適合金字塔對(duì)象存儲(chǔ)和管理的金字塔文件系統(tǒng)類,將全球柵格數(shù)據(jù)的多金字塔存儲(chǔ)模型,轉(zhuǎn)換為多金字塔對(duì)象存儲(chǔ)模型,以金字塔對(duì)象為單位實(shí)現(xiàn)全球柵格數(shù)據(jù)的存儲(chǔ)和管理。并對(duì)支持海量柵格文件存儲(chǔ)的基于聚合空間的海量文件系統(tǒng)進(jìn)行設(shè)計(jì)和實(shí)現(xiàn)。論文最后對(duì)成果進(jìn)行了測(cè)試,表明基于聚合空間的海量小文件系統(tǒng)可以高效地實(shí)現(xiàn)海量四叉樹柵格數(shù)據(jù)地快速存儲(chǔ)和實(shí)時(shí)訪問,并能兼容海量小文件和大文件的存儲(chǔ),滿足面向全球的地理信息系統(tǒng)的存儲(chǔ)和在線服務(wù)需求。
[Abstract]:......
【學(xué)位授予單位】：國(guó)防科學(xué)技術(shù)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2013
【分類號(hào)】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 許春玲;張廣泉;;分布式文件系統(tǒng)Hadoop HDFS與傳統(tǒng)文件系統(tǒng)Linux FS的比較與分析[J];蘇州大學(xué)學(xué)報(bào)(工科版);2010年04期

，

本文編號(hào)：1614743