開源分布式文件系統(tǒng)HDFS為支持流式讀寫、提供高吞吐量訪問而放寬了一部分POSIX約束,而基于HDFS研發(fā)的海量小文件系統(tǒng)SMDFS遺留了HDFS不兼容POSIX約束的這一問題,導(dǎo)致系統(tǒng)在實(shí)際生產(chǎn)應(yīng)用環(huán)境中無法直接兼容傳統(tǒng)的上層應(yīng)用�，F(xiàn)有的很多POSIX兼容的分布式文件系統(tǒng)大多源于文件系統(tǒng)服務(wù)端對文件隨機(jī)訪問等操作的支持,或者僅針對其自研文件系統(tǒng)的業(yè)務(wù)場景提供了類POISX支持,不能作為SMDFS或HDFS等其他POSIX不兼容的文件系統(tǒng)的參考方案。論文在現(xiàn)有的研究成果之上,分析了現(xiàn)有的分布式文件系統(tǒng)兼容現(xiàn)狀以及主流的POSIX約束實(shí)現(xiàn)方式,并結(jié)合SMDFS暫不支持POSIX標(biāo)準(zhǔn)的原因,基于用戶空間文件系統(tǒng)FUSE提出了基于數(shù)據(jù)暫存區(qū)的文件流重定向模型,通過將需要進(jìn)行POSIX相關(guān)操作的對象轉(zhuǎn)移到數(shù)據(jù)暫存區(qū)作為鏡像文件,利用本地文件系統(tǒng)的POSIX兼容屬性完成客戶端的POSIX操作需求,再借助異步線程池完成鏡像文件的同步以保持文件系統(tǒng)數(shù)據(jù)的完整性,同時采用覆寫中斷并發(fā)控制方案解決鏡像文件同步期間的同一個文件讀寫沖突問題,保證系統(tǒng)的高并發(fā)性能�；跀�(shù)據(jù)暫存區(qū)的文件流重定向模型為分布式文件... 

【文章來源】：國防科技大學(xué)湖南省 211工程院校 985工程院校

【文章頁數(shù)】：57 頁

【學(xué)位級別】：碩士

【部分圖文】：

元數(shù)據(jù)緩存目錄List性能對比實(shí)驗(yàn)

總結(jié)比較元數(shù)據(jù)緩存對比實(shí)驗(yàn)的結(jié)果可以發(fā)現(xiàn)，不設(shè)置元數(shù)據(jù)緩存的情況下續(xù)兩次目錄 List 操作的響應(yīng)時間幾乎一致；而設(shè)置元數(shù)據(jù)緩存時，第二次調(diào)個目錄的 List 操作會比第一次執(zhí)行目錄 List 操作的響應(yīng)時間短，但第一次目ist 操作的響應(yīng)時間比沒有緩存的情況要短。這是因?yàn)椴僮飨到y(tǒng)在執(zhí)行 List 目錄作前會先執(zhí)行 readdir 的操作，基于目錄的元數(shù)據(jù)緩存設(shè)置會在系統(tǒng)執(zhí)行 read操作時會先裝載該目錄下元數(shù)據(jù)，再由本地元數(shù)據(jù)緩存處理后續(xù)目錄的 List ，而第二次調(diào)用 List 時無需再進(jìn)行元數(shù)據(jù)裝載操作，所以效率會更高。元數(shù)存的設(shè)置減少了 RPC 調(diào)用，有效的提升了客戶端目錄 List 操作的性能，性能幅度取決于目錄下文件的數(shù)量級，單目錄下文件量為 50000 時，List 性能可以約 10 倍。6.2.2 SMDFS3.0 隨機(jī)寫功能測試由于 SMDFS2.0 與 HDFS 均不支持文件的隨機(jī)寫，因此測試使用支持隨機(jī)讀試的工具 iozone 對 SMDFS3.0 進(jìn)行功能測試，同時與本地文件系統(tǒng)對比性能數(shù)為 10 線程，文件大小為 1GB，記錄大小為 4KB。測試結(jié)果如圖 6.3 所示。

性能以及 SMDFS3.0 Linux 客戶端相對于 SMDFS2.0 Java 接口的性能損耗。分布式集群初始裝載 1000 萬個文件，五個客戶端同時進(jìn)行以下測試: 每個客戶端單線程，每個線程從集群 1000 萬文件中隨機(jī)下載 1 萬個文件，五個客戶端累計(jì)下載 5 萬個文件，記錄單個文件平均讀延時。 每個客戶端 10 個線程，每個線程從集群 1000 萬文件中隨機(jī)下載 5000 個文件，五個客戶端累計(jì)下載 25 萬個文件，記錄單個文件平均讀延時。 每個客戶端單線程，每個線程從集群某個目錄下順序下載 1 萬個文件，五個客戶端累計(jì)下載 5 萬個文件，記錄單個文件平均讀延時。 每個客戶端 10 個線程，每個線程從集群某個目錄下順序下載 1 萬個文件，五個客戶端累計(jì)下載 50 萬個文件，記錄單個文件平均讀延時。 每個客戶端單線程，每個線程向集群寫入 2 萬個文件，五個客戶端累計(jì)上傳 10 萬個文件，記錄單個文件平均寫延時。 每個客戶端 10 個線程，每個線程向集群寫入 1 萬個文件，五個客戶端累計(jì)上傳 50 萬個文件，記錄單個文件平均寫延時。實(shí)驗(yàn)結(jié)果如圖 6.4 所示。

【參考文獻(xiàn)】：
期刊論文
[1]SMDFS分布式海量小文件系統(tǒng)的大空間聚合存儲技術(shù)[J]. 嚴(yán)巍巍,何連躍,李三霞,成穎佼.  計(jì)算機(jī)研究與發(fā)展. 2015(S2)
[2]面向?qū)ο蟠鎯Φ奈募到y(tǒng)Lustre[J]. 梁軍,聶瑞華.  計(jì)算機(jī)工程與設(shè)計(jì). 2015(06)
[3]一種Hadoop小文件存儲和讀取的方法[J]. 張春明,芮建武,何婷婷.  計(jì)算機(jī)應(yīng)用與軟件. 2012(11)
[4]基于Fuse的用戶態(tài)文件系統(tǒng)的設(shè)計(jì)[J]. 吳一民,劉偉安.  微計(jì)算機(jī)信息. 2010(06)
[5]線程池的多線程并發(fā)控制技術(shù)研究[J]. 楊開杰,劉秋菊,徐汀榮.  計(jì)算機(jī)應(yīng)用與軟件. 2010(01)

博士論文
[1]海量數(shù)據(jù)存儲系統(tǒng)的高可靠性關(guān)鍵技術(shù)研究與應(yīng)用[D]. 蔣海波.電子科技大學(xué) 2013

碩士論文
[1]兼容POSIX接口的云存儲文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 蔣忠娟.電子科技大學(xué) 2014
[2]基于MooseFS的云存儲系統(tǒng)的研究與實(shí)現(xiàn)[D]. 魏雪波.電子科技大學(xué) 2013
[3]基于POSIX語義的分布式文件系統(tǒng)客戶端設(shè)計(jì)與實(shí)現(xiàn)[D]. 王勇濤.電子科技大學(xué) 2013
[4]基于FUSE的用戶態(tài)文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 黃永勝.東北大學(xué) 2012
[5]基于HDFS的分布式Namenode節(jié)點(diǎn)模型的研究[D]. 李寬.華南理工大學(xué) 2011
[6]NAS網(wǎng)絡(luò)存儲技術(shù)研究[D]. 劉金柱.華中科技大學(xué) 2009



本文編號：3016712