本文選題：分布式文件系統(tǒng)　切入點：地理柵格　出處：《國防科學技術大學》2013年碩士論文　論文類型：學位論文

【摘要】：隨著衛(wèi)星、航空測繪和遙感技術的發(fā)展,地理影像信息獲取越來越快捷,全球影像數(shù)據(jù)集規(guī)模迅速膨脹,由此帶來的好處是地理信息系統(tǒng)有能力展現(xiàn)全球每個角落的精細地圖。但如此海量的地理信息數(shù)據(jù)也給信息系統(tǒng)研發(fā)和建設帶來了很大難題,其中海量地理柵格數(shù)據(jù)的存儲和訪問就是難點問題之一。以18層金字塔的全球柵格文件為例,文件數(shù)量將達到二百億以上規(guī)模,數(shù)據(jù)量達到PB以上。而且由于地理信息系統(tǒng)需要提供數(shù)據(jù)在線即時服務,使得對后臺存儲系統(tǒng)的文件訪問延遲、并發(fā)訪問能力以及容錯性要求都很高。目前開源的海量文件系統(tǒng)和存儲系統(tǒng)不具備這樣的海量存儲和低延時訪問能力�；谏鲜鲂枨�,課題組實現(xiàn)了SMDFS分布式文件系統(tǒng),基于HDFS對文件系統(tǒng)結(jié)構(gòu)進行改造,以目錄為單位將小文件合并成大文件進行存儲,并設計了兩級元數(shù)據(jù)結(jié)構(gòu),第一級與HDFS一樣以大文件為單位進行管理,第二級管理大文件內(nèi)的小文件,第二級元數(shù)據(jù)分散在數(shù)據(jù)服務器集群中,很好地解決海量小文件存儲與低延時訪問問題。SMDFS主要適用于一個目錄下會有大量小文件的場景。然而地理柵格數(shù)據(jù)的一種主要組織方式是金字塔方式。一個金字塔代表一個地理區(qū)域的柵格文件集合,通常表現(xiàn)形式是多層四叉樹目錄。除了葉結(jié)點外,每個目錄有四個子目錄,每個目錄下存儲幾張影像圖片。因此這樣的組織方式顯然不適合基于目錄進行合并存儲,因為不會大幅減少元數(shù)據(jù)服務器的元數(shù)據(jù)量,使得存儲能力和訪問效率很低。針對海量柵格文件存儲和訪問引發(fā)的問題,論文提出了聚合空間技術。聚合空間是一個文件聚合單位,一個聚合空間里的文件合并為一個聚合文件進行存儲,文件系統(tǒng)元數(shù)據(jù)服務器維護聚合文件的索引信息,數(shù)據(jù)服務器維護聚合文件內(nèi)小文件的索引信息。聚合空間在分布式文件系統(tǒng)中組織成樹狀結(jié)構(gòu),一個聚合空間內(nèi)包含多個子聚合空間。海量文件存儲時,可根據(jù)文件目錄結(jié)構(gòu),選擇或設計一個優(yōu)秀映射算法,將之映射為一個文件聚合空間結(jié)構(gòu),使得每個聚合空間內(nèi)包含大量小文件,出色地提高存儲能力和訪問效率。針對金字塔柵格文件,論文提出并設計了對折聚合算法,將金字塔文件目錄結(jié)構(gòu)映射為文件聚合空間結(jié)構(gòu)。對折聚合算法和技術通過將n層金字塔文件目錄結(jié)構(gòu)映射為?n2/?層金字塔文件聚合空間結(jié)構(gòu),滿足在金字塔文件目錄結(jié)構(gòu)下,具有相同祖先目錄的同層文件映射到同一聚合空間,實現(xiàn)了地理相鄰的柵格文件存儲也相鄰的高效聚合。通過對折聚合算法,一個聚合空間下的文件與原來一個目錄下文件數(shù)量對比平均增加了?n/2?4倍,可以有效提高了金字塔文件的存儲和訪問效率。論文基于SMDFS分布式文件系統(tǒng),研究設計了適合金字塔對象存儲和管理的金字塔文件系統(tǒng)類,將全球柵格數(shù)據(jù)的多金字塔存儲模型,轉(zhuǎn)換為多金字塔對象存儲模型,以金字塔對象為單位實現(xiàn)全球柵格數(shù)據(jù)的存儲和管理。并對支持海量柵格文件存儲的基于聚合空間的海量文件系統(tǒng)進行設計和實現(xiàn)。論文最后對成果進行了測試,表明基于聚合空間的海量小文件系統(tǒng)可以高效地實現(xiàn)海量四叉樹柵格數(shù)據(jù)地快速存儲和實時訪問,并能兼容海量小文件和大文件的存儲,滿足面向全球的地理信息系統(tǒng)的存儲和在線服務需求。
[Abstract]:......
【學位授予單位】：國防科學技術大學
【學位級別】：碩士
【學位授予年份】：2013
【分類號】：TP333

【參考文獻】

相關期刊論文 前1條

1 許春玲;張廣泉;;分布式文件系統(tǒng)Hadoop HDFS與傳統(tǒng)文件系統(tǒng)Linux FS的比較與分析[J];蘇州大學學報(工科版);2010年04期

，

本文編號：1614743