發(fā)布時(shí)間：2017-12-01 16:33

  本文關(guān)鍵詞：海量文件分布式存取技術(shù)研究

  更多相關(guān)文章： 分布式存取 元數(shù)據(jù)擴(kuò)展 數(shù)據(jù)緩存 數(shù)據(jù)預(yù)取 存取性能

【摘要】：隨著云時(shí)代的到來,大數(shù)據(jù)吸引了越來越多的關(guān)注,每天互聯(lián)網(wǎng)上新產(chǎn)生的數(shù)據(jù)以數(shù)以億計(jì)的速度激增。這種數(shù)量級的數(shù)據(jù)量已經(jīng)遠(yuǎn)遠(yuǎn)超出了一臺計(jì)算機(jī)的處理能力,如何存儲和管理這些數(shù)據(jù)成為人們關(guān)注的焦點(diǎn)�；诖�,分布式文件系統(tǒng)被提出并得到廣泛的應(yīng)用。而分布式文件系統(tǒng)中所涉及到的各種分布式存取技術(shù)也成為人們研究的熱點(diǎn)。 本文首先廣泛調(diào)研了分布式文件系統(tǒng)的發(fā)展和現(xiàn)狀,并基于MooseFS (MFS)分布式文件系統(tǒng)對海量文件的分布式存取技術(shù)進(jìn)行了詳細(xì)的研究和介紹。 其次,本文針對MFS使用一臺元數(shù)據(jù)服務(wù)器存儲整個(gè)文件系統(tǒng)的元數(shù)據(jù)從而限制整個(gè)文件系統(tǒng)的存儲容量和存取效率的問題,提出了一種基于靜態(tài)哈希的元數(shù)據(jù)擴(kuò)展管理方法。該方法將一臺元數(shù)據(jù)服務(wù)器擴(kuò)展為元數(shù)據(jù)服務(wù)器集群,同時(shí)有效解決了靜態(tài)哈希方法目錄重命名時(shí)數(shù)據(jù)遷移量較大和權(quán)限認(rèn)證網(wǎng)絡(luò)時(shí)延較長的問題。 再次,本文針對MFS系統(tǒng)缺乏小文件緩存機(jī)制從而降低了小文件重復(fù)讀取的讀取速率的問題,提出了MFS數(shù)據(jù)緩存優(yōu)化機(jī)制。該緩存機(jī)制將最近訪問的文件保存在MFS客戶端的內(nèi)存緩存區(qū),當(dāng)客戶端需要讀取同一文件時(shí),便直接從內(nèi)存中讀取數(shù)據(jù)。.實(shí)驗(yàn)結(jié)果表明,改進(jìn)后的機(jī)制大大提高了小文件的重復(fù)讀取速率。 ‘最后,本文針對MFS系統(tǒng)對大文件的讀取缺乏預(yù)取機(jī)制導(dǎo)致讀取速率變慢的缺點(diǎn),提出了MFS數(shù)據(jù)預(yù)取機(jī)制。當(dāng)文件大小超過1MB,并且客戶端以連續(xù)讀取操作觸發(fā)預(yù)取機(jī)制時(shí),系統(tǒng)將數(shù)據(jù)提前傳送至客戶端內(nèi)存。實(shí)驗(yàn)結(jié)果表明,當(dāng)對大文件進(jìn)行讀取操作時(shí),改進(jìn)后的機(jī)制不僅縮短了系統(tǒng)讀取文件的操作完成時(shí)間和響應(yīng)時(shí)間,還提高了系統(tǒng)的吞吐量。
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：TP333

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前4條

1 應(yīng)駿;江峰;李莉;;嵌入式設(shè)備上的文件系統(tǒng)優(yōu)化設(shè)計(jì)[J];電子技術(shù)應(yīng)用;2007年12期

2 謝勝彬,陶洋,王國梁;DAS、NAS與SAN的研究與應(yīng)用[J];計(jì)算機(jī)與現(xiàn)代化;2003年07期

3 羅家融,徐浩,朱琳,季振山,田一海,江海燕;Socket通信編程在分布式控制系統(tǒng)中的應(yīng)用[J];微型機(jī)與應(yīng)用;2001年01期

4 徐學(xué)雷;;網(wǎng)絡(luò)存儲技術(shù)及其新進(jìn)展[J];北京電子科技學(xué)院學(xué)報(bào);2005年04期

，

本文編號：1241759