本文關(guān)鍵詞：分布式文件系統(tǒng)小文件性能優(yōu)化技術(shù)研究

  更多相關(guān)文章： 分布式文件系統(tǒng) 小文件 聚合 緩存

【摘要】：隨著信息化程度的不斷提高，數(shù)字信息也迅速增加，分布式文件系統(tǒng)為海量信息的存儲(chǔ)提供了有效的解決措施。對(duì)分布式文件系統(tǒng)的研究表明，系統(tǒng)對(duì)于大文件操作，可以充分使用網(wǎng)絡(luò)帶寬和服務(wù)器的存儲(chǔ)能力，有非常好的性能。然而，對(duì)于日益增長(zhǎng)的小文件應(yīng)用，存在網(wǎng)絡(luò)帶寬利用率低，小文件讀寫(xiě)性能差的問(wèn)題。 CapFS是實(shí)驗(yàn)室自主研發(fā)的分布式文件系統(tǒng)，通過(guò)詳細(xì)分析CapFS系統(tǒng)文件讀寫(xiě)流程，得出小文件讀寫(xiě)時(shí)客戶(hù)端請(qǐng)求隊(duì)列長(zhǎng)，，從而導(dǎo)致了讀寫(xiě)操作延遲大，性能低下。結(jié)合當(dāng)前文件系統(tǒng)設(shè)計(jì)現(xiàn)狀，并充分利用Linux內(nèi)核緩存，改善了小文件訪問(wèn)負(fù)載性能。采用基于聚合的小文件優(yōu)化技術(shù)，在客戶(hù)端寫(xiě)操作中，將多個(gè)文件保存在同一個(gè)數(shù)據(jù)塊，從而實(shí)現(xiàn)聚合。綜合網(wǎng)絡(luò)帶寬使用和一致性開(kāi)銷(xiāo)等指標(biāo)，得出合適的數(shù)據(jù)塊大�。唤Y(jié)合Linux內(nèi)核文件預(yù)取機(jī)制，選取關(guān)聯(lián)文件放在同一個(gè)數(shù)據(jù)塊中，在一定程度上提高文件讀性能；結(jié)合Linux內(nèi)核緩存機(jī)制，確定數(shù)據(jù)塊緩存策略及“臟”數(shù)據(jù)塊刷回機(jī)制；通過(guò)回調(diào)機(jī)制，保證多客戶(hù)端并發(fā)訪問(wèn)的一致性。在元數(shù)據(jù)服務(wù)器端，采用哈希方式來(lái)管理數(shù)據(jù)塊元數(shù)據(jù)信息，提供高效的數(shù)據(jù)塊索引能力。 測(cè)試結(jié)果表明，小文件聚合技術(shù)使得CapFS小文件寫(xiě)性能有較為明顯提升，小于64KB的文件，寫(xiě)性能提升約一倍，網(wǎng)絡(luò)帶寬利用率增加約一倍；小文件順序訪問(wèn)時(shí)，對(duì)于小于64KB的文件，性能提升約25%；對(duì)于系統(tǒng)原有大文件性能不受影響。
【關(guān)鍵詞】：分布式文件系統(tǒng) 小文件 聚合 緩存
【學(xué)位授予單位】：華中科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類(lèi)號(hào)】：TP333
【目錄】：

• 摘要4-5
• Abstract5-8
• 1 緒論8-15
• 1.1 課題背景8-9
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀9-11
• 1.3 CapFS 系統(tǒng)介紹11-13
• 1.4 本文研究的主要內(nèi)容13
• 1.5 論文結(jié)構(gòu)安排13-15
• 2 CapFS 小文件性能優(yōu)化方法分析15-23
• 2.1 CapFS 文件訪問(wèn)流程15-16
• 2.2 CapFS 現(xiàn)有小文件優(yōu)化技術(shù)16-18
• 2.3 現(xiàn)有優(yōu)化技術(shù)的不足18
• 2.4 基于聚合的小文件優(yōu)化策略18-22
• 2.5 本章小結(jié)22-23
• 3 基于聚合的小文件優(yōu)化技術(shù)設(shè)計(jì)23-36
• 3.1 設(shè)計(jì)思想23
• 3.2 數(shù)據(jù)塊大小設(shè)計(jì)23-25
• 3.3 小文件聚合策略25-27
• 3.4 數(shù)據(jù)塊的元數(shù)據(jù)管理27-31
• 3.5 數(shù)據(jù)塊碎片管理31-32
• 3.6 數(shù)據(jù)塊緩存策略設(shè)計(jì)32-34
• 3.7 文件系統(tǒng)數(shù)據(jù)一致性設(shè)計(jì)34-35
• 3.8 本章小結(jié)35-36
• 4 基于聚合的小文件優(yōu)化技術(shù)實(shí)現(xiàn)36-46
• 4.1 MDS 端數(shù)據(jù)塊元數(shù)據(jù)管理的實(shí)現(xiàn)36-40
• 4.2 客戶(hù)端小文件聚合的實(shí)現(xiàn)40-45
• 4.3 本章小結(jié)45-46
• 5 測(cè)試分析46-52
• 5.1 測(cè)試環(huán)境46
• 5.2 小文件讀寫(xiě)測(cè)試46-47
• 5.3 小文件并發(fā)測(cè)試47-50
• 5.4 大文件測(cè)試50-51
• 5.5 本章小結(jié)51-52
• 6 全文總結(jié)52-54
• 致謝54-55
• 參考文獻(xiàn)55-59
• 附錄：攻讀碩士學(xué)位期間參加的主要科研項(xiàng)目59

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 陳劍;龔發(fā)根;;一種優(yōu)化分布式文件系統(tǒng)的文件合并策略[J];計(jì)算機(jī)應(yīng)用;2011年S2期

2 郎為民;楊德鵬;;云計(jì)算中的分布式文件系統(tǒng)[J];電信快報(bào);2012年02期

3 陳文捷;蔡立志;樓志斌;王潔萍;李海波;;應(yīng)用級(jí)分布式文件系統(tǒng)接口標(biāo)準(zhǔn)化探索[J];信息技術(shù)與標(biāo)準(zhǔn)化;2012年10期

4 應(yīng)朝暉，高洪奎，黃若衡;分布式文件系統(tǒng)[J];計(jì)算機(jī)工程與科學(xué);1995年03期

5 盧軍;盧顯良;韓宏;許騰;;基于移動(dòng)Agent的新型分布式文件系統(tǒng)研究[J];計(jì)算機(jī)科學(xué);2002年10期

6 寒江約叟;N個(gè)資源一次看——分布式文件系統(tǒng)妙用[J];電腦應(yīng)用文萃;2004年07期

7 黃華,張建剛,許魯;藍(lán)鯨分布式文件系統(tǒng)的分布式分層資源管理模型[J];計(jì)算機(jī)研究與發(fā)展;2005年06期

8 黃華;張建剛;許魯;;藍(lán)鯨分布式文件系統(tǒng)的客戶(hù)端元數(shù)據(jù)緩存模型[J];計(jì)算機(jī)科學(xué);2005年09期

9 黃華;張敬亮;張建剛;許魯;;藍(lán)鯨分布式文件系統(tǒng)的物理資源管理模型[J];計(jì)算機(jī)工程;2006年06期

10 陰四海;王文杰;李秀斌;范軍濤;;并行分布式文件系統(tǒng)的改進(jìn)[J];計(jì)算機(jī)應(yīng)用;2007年S2期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前4條

1 華清;黃林鵬;;基于分片、松耦合的分布式文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];2006年全國(guó)開(kāi)放式分布與并行計(jì)算學(xué)術(shù)會(huì)議論文集（二）[C];2006年

2 洪穗;;微軟WINDOWS Server 2003 R2分布式文件系統(tǒng)解決方案分析[A];中國(guó)新聞技術(shù)工作者聯(lián)合會(huì)2008年學(xué)術(shù)年會(huì)論文集（上）[C];2008年

3 羅志明;張大華;王電鋼;常健;;電力分布式云存儲(chǔ)關(guān)鍵技術(shù)研究[A];2012年電力通信管理暨智能電網(wǎng)通信技術(shù)論壇論文集[C];2013年

4 徐文斌;;大數(shù)據(jù)時(shí)代的交管綜合應(yīng)用云平臺(tái)[A];第八屆中國(guó)智能交通年會(huì)論文集[C];2013年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前10條

1 國(guó)家高性能計(jì)算機(jī)工程技術(shù)研究中心 黃華 楊德志 張建剛;分布式文件系統(tǒng)的歷史與現(xiàn)狀[N];中國(guó)計(jì)算機(jī)報(bào);2005年

2 國(guó)家高性能計(jì)算機(jī)工程技術(shù)研究中心 黃華 楊德志 張建剛;分布式文件系統(tǒng)趨向成熟[N];中國(guó)計(jì)算機(jī)報(bào);2005年

3 國(guó)防科學(xué)技術(shù)大學(xué)計(jì)算機(jī)學(xué)院軟件所 董勇 周恩強(qiáng);構(gòu)建分布式文件系統(tǒng)[N];中國(guó)計(jì)算機(jī)報(bào);2005年

4 ;分布式文件系統(tǒng)一瞥[N];網(wǎng)絡(luò)世界;2002年

5 王春海 劉立;分布式文件系統(tǒng)在網(wǎng)絡(luò)中的應(yīng)用[N];電腦報(bào);2004年

6 ;Hadoop：為構(gòu)建海量數(shù)據(jù)架構(gòu)而生[N];人民郵電;2012年

7 本報(bào)記者 于翔;“大數(shù)據(jù)”的大承諾[N];網(wǎng)絡(luò)世界;2010年

8 IBM大數(shù)據(jù)專(zhuān)家 James Kobielus　范范 編譯;YARN動(dòng)搖了MapReduce對(duì)Hadoop的掌控[N];網(wǎng)絡(luò)世界;2013年

9 張力平;云計(jì)算和物聯(lián)網(wǎng)的美妙融合[N];學(xué)習(xí)時(shí)報(bào);2014年

10 《網(wǎng)絡(luò)世界》記者 于翔;大數(shù)據(jù)治理多管齊下[N];網(wǎng)絡(luò)世界;2012年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前4條

1 趙鐵柱;分布式文件系統(tǒng)性能建模及應(yīng)用研究[D];華南理工大學(xué);2011年

2 史小冬;分布式文件系統(tǒng)高可用問(wèn)題研究[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2002年

3 黃華;藍(lán)鯨分布式文件系統(tǒng)的資源管理[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2005年

4 楊德志;分布式文件系統(tǒng)可擴(kuò)展元數(shù)據(jù)服務(wù)關(guān)鍵問(wèn)題研究[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2008年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 冷志強(qiáng);基于分布式文件系統(tǒng)GlusterFS的橫向擴(kuò)展云存儲(chǔ)的研究與實(shí)現(xiàn)[D];復(fù)旦大學(xué);2014年

2 黎斌;基于HDFS的分布式文件系統(tǒng)存儲(chǔ)研究與優(yōu)化[D];電子科技大學(xué);2015年

3 何雄;大小文件跨網(wǎng)絡(luò)集群快速遷移協(xié)議[D];電子科技大學(xué);2015年

4 焦晨宇;可伸縮分布式文件系統(tǒng)及其應(yīng)用[D];北京理工大學(xué);2015年

5 譙林飛;云計(jì)算環(huán)境中分布式文件系統(tǒng)數(shù)據(jù)一致性問(wèn)題研究[D];電子科技大學(xué);2014年

6 秦小寒;優(yōu)化性能的分布式存儲(chǔ)子系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

7 牛升;分布式文件系統(tǒng)的負(fù)載均衡策略研究[D];電子科技大學(xué);2014年

8 郭建國(guó);基于分布式文件系統(tǒng)FastDFS的圖片服務(wù)器件設(shè)計(jì)與應(yīng)用[D];中國(guó)科學(xué)院大學(xué)(工程管理與信息技術(shù)學(xué)院);2015年

9 白鋮;一種分布式文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

10 吳霖;分布式微信公眾平臺(tái)爬蟲(chóng)系統(tǒng)的研究與應(yīng)用[D];南華大學(xué);2015年

本文編號(hào)：585315