發(fā)布時(shí)間：2017-10-04 19:10

  本文關(guān)鍵詞：基于可變長(zhǎng)分塊的分布式文件系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

  更多相關(guān)文章： 固定長(zhǎng)分塊 可變長(zhǎng)分塊 分布式文件系統(tǒng) 隨機(jī)寫 元數(shù)據(jù)服務(wù)器

【摘要】：分布式文件系統(tǒng)受傳統(tǒng)磁盤文件系統(tǒng)影響,大多使用固定大小的對(duì)象或者塊來(lái)組織和管理文件。定長(zhǎng)的分塊不適合隨機(jī)寫或插入寫,開銷大且性能差,但典型的用戶約有25%的文件操作是隨機(jī)寫。針對(duì)上述現(xiàn)狀,提出一種基于內(nèi)容的可變長(zhǎng)文件分塊方法,使用拉賓指紋算法對(duì)文件進(jìn)行分塊,并根據(jù)文件的內(nèi)容標(biāo)識(shí)文件塊。為更準(zhǔn)確地指定寫類型,提高寫性能,給出與POSIX語(yǔ)義兼容的寫接口。通過(guò)修改Ceph實(shí)現(xiàn)一種新的分布式文件系統(tǒng)VarFS,提供文件的可變長(zhǎng)分塊并支持新的寫接口。實(shí)驗(yàn)結(jié)果表明,由于減少網(wǎng)絡(luò)數(shù)據(jù)傳輸量,VarFS在隨機(jī)寫延遲和帶寬消耗量上比Ceph減少了1個(gè)~2個(gè)數(shù)量級(jí)。
【作者單位】： 武漢大學(xué)計(jì)算機(jī)學(xué)院;中國(guó)科學(xué)院計(jì)算技術(shù)研究所;
【關(guān)鍵詞】： 固定長(zhǎng)分塊 可變長(zhǎng)分塊 分布式文件系統(tǒng) 隨機(jī)寫 元數(shù)據(jù)服務(wù)器
【基金】：國(guó)家“863”計(jì)劃基金資助項(xiàng)目(2013AA12A301) 國(guó)家自然科學(xué)基金資助項(xiàng)目(61100020) 華為公司創(chuàng)新研究計(jì)劃基金資助項(xiàng)目
【分類號(hào)】：TP333
【正文快照】： 1概述基于云的文件系統(tǒng)和文件存儲(chǔ)服務(wù),如Dropbox[1],Evernote[2]等為用戶提供了一個(gè)可靠和便捷的方法, 使用戶備份個(gè)人或工作文件到云存儲(chǔ)服務(wù)器上,并在需要時(shí)及時(shí)更新這些文件。同時(shí),云存儲(chǔ)和基于云的文件系統(tǒng)已經(jīng)成為適用于各種應(yīng)用程序的基礎(chǔ)層。例如,Facebook Messages(

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 熊文;喻之斌;須成忠;;幾個(gè)常見分布式文件系統(tǒng)特征分析和性能對(duì)比(英文)[J];集成技術(shù);2012年04期

2 李依桐;;云存儲(chǔ)文件系統(tǒng)對(duì)比[J];計(jì)算機(jī)與現(xiàn)代化;2013年10期

3 趙鐵柱;袁華強(qiáng);;分布式文件系統(tǒng)性能研究[J];東莞理工學(xué)院學(xué)報(bào);2014年01期

4 溫東新;王雪嬌;張展;錢軍;張中兆;崔忠強(qiáng);;海量下的分布式文件系統(tǒng)測(cè)試平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[J];哈爾濱工業(yè)大學(xué)學(xué)報(bào);2012年11期

5 師明;劉軼;唐歌實(shí);;一種面向分布式文件系統(tǒng)的文件預(yù)取模型的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)科學(xué);2014年07期

6 程煒燁;;一種分布式文件系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)[J];微處理機(jī);2008年04期

7 馬燦;孟丹;熊勁;;曙光星云分布式文件系統(tǒng):海量小文件存取[J];小型微型計(jì)算機(jī)系統(tǒng);2012年07期

8 周江;王偉平;孟丹;馬燦;古曉艷;蔣杰;;面向大數(shù)據(jù)分析的分布式文件系統(tǒng)關(guān)鍵技術(shù)[J];計(jì)算機(jī)研究與發(fā)展;2014年02期

9 陳曉宇,蘇中義;分布式文件系統(tǒng)中文件位置無(wú)關(guān)性的一個(gè)解決方案[J];計(jì)算機(jī)與現(xiàn)代化;2000年01期

10 薄懷祥;;分布式文件系統(tǒng)性能測(cè)試軟件的設(shè)計(jì)[J];山東廣播電視大學(xué)學(xué)報(bào);2012年01期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前1條

1 羅志明;張大華;王電鋼;常健;;電力分布式云存儲(chǔ)關(guān)鍵技術(shù)研究[A];2012年電力通信管理暨智能電網(wǎng)通信技術(shù)論壇論文集[C];2013年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前1條

1 趙鐵柱;分布式文件系統(tǒng)性能建模及應(yīng)用研究[D];華南理工大學(xué);2011年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 冷志強(qiáng);基于分布式文件系統(tǒng)GlusterFS的橫向擴(kuò)展云存儲(chǔ)的研究與實(shí)現(xiàn)[D];復(fù)旦大學(xué);2014年

2 焦晨宇;可伸縮分布式文件系統(tǒng)及其應(yīng)用[D];北京理工大學(xué);2015年

3 牛升;分布式文件系統(tǒng)的負(fù)載均衡策略研究[D];電子科技大學(xué);2014年

4 周昶;基于對(duì)象分布式文件系統(tǒng)的存儲(chǔ)緩存研究[D];杭州電子科技大學(xué);2011年

5 廖舒恬;安全對(duì)象分布式文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2013年

6 張軼彬;分布式文件系統(tǒng)客戶端的設(shè)計(jì)與實(shí)現(xiàn)[D];上海交通大學(xué);2011年

7 胡軍杰;云平臺(tái)下分布式文件系統(tǒng)評(píng)測(cè)技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2014年

8 張永勝;面向代理服務(wù)的分布式文件系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2012年

9 趙黎斌;面向云存儲(chǔ)的分布式文件系統(tǒng)關(guān)鍵技術(shù)研究[D];西安電子科技大學(xué);2011年

10 李書鵬;分布式文件系統(tǒng)在云存儲(chǔ)環(huán)境下的若干問(wèn)題研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2011年

，

本文編號(hào)：972340