本文關鍵詞：海量文件分布式存取技術研究

  更多相關文章： 分布式存取 元數據擴展 數據緩存 數據預取 存取性能

【摘要】：隨著云時代的到來,大數據吸引了越來越多的關注,每天互聯網上新產生的數據以數以億計的速度激增。這種數量級的數據量已經遠遠超出了一臺計算機的處理能力,如何存儲和管理這些數據成為人們關注的焦點�；诖�,分布式文件系統(tǒng)被提出并得到廣泛的應用。而分布式文件系統(tǒng)中所涉及到的各種分布式存取技術也成為人們研究的熱點。 本文首先廣泛調研了分布式文件系統(tǒng)的發(fā)展和現狀,并基于MooseFS (MFS)分布式文件系統(tǒng)對海量文件的分布式存取技術進行了詳細的研究和介紹。 其次,本文針對MFS使用一臺元數據服務器存儲整個文件系統(tǒng)的元數據從而限制整個文件系統(tǒng)的存儲容量和存取效率的問題,提出了一種基于靜態(tài)哈希的元數據擴展管理方法。該方法將一臺元數據服務器擴展為元數據服務器集群,同時有效解決了靜態(tài)哈希方法目錄重命名時數據遷移量較大和權限認證網絡時延較長的問題。 再次,本文針對MFS系統(tǒng)缺乏小文件緩存機制從而降低了小文件重復讀取的讀取速率的問題,提出了MFS數據緩存優(yōu)化機制。該緩存機制將最近訪問的文件保存在MFS客戶端的內存緩存區(qū),當客戶端需要讀取同一文件時,便直接從內存中讀取數據。.實驗結果表明,改進后的機制大大提高了小文件的重復讀取速率。 ‘最后,本文針對MFS系統(tǒng)對大文件的讀取缺乏預取機制導致讀取速率變慢的缺點,提出了MFS數據預取機制。當文件大小超過1MB,并且客戶端以連續(xù)讀取操作觸發(fā)預取機制時,系統(tǒng)將數據提前傳送至客戶端內存。實驗結果表明,當對大文件進行讀取操作時,改進后的機制不僅縮短了系統(tǒng)讀取文件的操作完成時間和響應時間,還提高了系統(tǒng)的吞吐量。
【學位授予單位】：北京郵電大學
【學位級別】：碩士
【學位授予年份】：2014
【分類號】：TP333

【參考文獻】

中國期刊全文數據庫 前4條

1 應駿;江峰;李莉;;嵌入式設備上的文件系統(tǒng)優(yōu)化設計[J];電子技術應用;2007年12期

2 謝勝彬,陶洋,王國梁;DAS、NAS與SAN的研究與應用[J];計算機與現代化;2003年07期

3 羅家融,徐浩,朱琳,季振山,田一海,江海燕;Socket通信編程在分布式控制系統(tǒng)中的應用[J];微型機與應用;2001年01期

4 徐學雷;;網絡存儲技術及其新進展[J];北京電子科技學院學報;2005年04期

，

本文編號：1241759