本文關鍵詞：分布式存儲及其緩存的優(yōu)化模型研究，由筆耕文化傳播整理發(fā)布。

【摘要】：采用分布式存儲實現(xiàn)的存儲虛擬化可以提供良好的可靠性、兼容性和容錯能力。然而,傳統(tǒng)的分布式存儲集群主要應用于面向海量數(shù)據(jù)分析以及對計算和存儲資源的調(diào)度上,目前將分布式存儲用于實現(xiàn)存儲虛擬化的研究和實踐較少,其原因在于當數(shù)據(jù)存儲從本地硬盤搬移到網(wǎng)絡集群,系統(tǒng)的讀寫性能會受到影響。當采用分布式存儲實現(xiàn)存儲虛擬化時,為了在保證系統(tǒng)可靠性的同時兼顧讀寫性能,需要一個良好的緩存系統(tǒng)作為支持�；诖�,本文提出了一種分布式多級緩存模型DMCM,用于驗證采用分布式存儲實現(xiàn)存儲虛擬化的可行性。由于HDFS(Hadoop Distributed File System)是一種應用廣泛的分布式存儲框架,模型選取了HDFS作為后端存儲,以內(nèi)存作為一級緩存、硬盤作為二級緩存,并在HDFS主節(jié)點下配置iSCSI服務器銜接HDFS接口,從而實現(xiàn)基于局域網(wǎng)的存儲虛擬化。為了改善讀寫性能,本文制定了模型的緩存替換策略,并設計了基于該策略的索引表結(jié)構(gòu)。本文采用塊設備驅(qū)動程序和后端調(diào)度程序作為模型的實現(xiàn)方案,當用戶通過iSCSI客戶端上傳下載文件時,會觸發(fā)對塊設備的讀寫請求,并實現(xiàn)數(shù)據(jù)塊在各級緩存的高效調(diào)度。為了實現(xiàn)本文提出的分布式多級模型,本文搭建了HDFS集群和iSCSI服務器,在局域網(wǎng)環(huán)境下部署了系統(tǒng),并對系統(tǒng)的讀寫性能做了測試。對寫性能測試了緩存單元大小和單次寫入數(shù)據(jù)對傳輸性能的影響,發(fā)現(xiàn)增大緩存單元可以提高傳輸速率,在單次寫入文件超過20MB時傳輸速率趨于穩(wěn)定;對讀請求測試了隨機訪問、局部訪問、順序訪問三種模式下的緩存命中率和使用效率,并發(fā)現(xiàn)局部訪問下系統(tǒng)的性能更優(yōu)。本文提出的DMCM模型主要解決基于HDFS實現(xiàn)存儲虛擬化時在保證可靠性的同時提高讀寫性能的問題,可以為采用分布式存儲實現(xiàn)存儲虛擬化提供參考。
【關鍵詞】：存儲虛擬化 分布式存儲 緩存替換策略 HDFS iSCSI服務器
【學位授予單位】：華南理工大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP333
【目錄】：

• 摘要5-6
• Abstract6-10
• 第一章 緒論10-18
• 1.1 課題的研究背景及意義10-11
• 1.2 國內(nèi)外研究現(xiàn)狀11-15
• 1.2.1 網(wǎng)絡傳輸下的緩存技術(shù)研究現(xiàn)狀11-13
• 1.2.2 存儲虛擬化研究現(xiàn)狀13-15
• 1.3 本論文主要的研究內(nèi)容和工作15-16
• 1.4 論文章節(jié)安排16-18
• 第二章 分布式存儲系統(tǒng)及緩存技術(shù)概述18-25
• 2.1 分布式存儲技術(shù)概述18-20
• 2.1.1 分布式存儲作為云存儲的三種方式之一18-19
• 2.1.2 采用分布式存儲實現(xiàn)存儲虛擬化19-20
• 2.2 分布式文件系統(tǒng)HDFS20-21
• 2.3 緩存技術(shù)的理論研究21-24
• 2.3.1 存儲器層次結(jié)構(gòu)21-23
• 2.3.2 緩存策略概述23-24
• 2.4 本章小結(jié)24-25
• 第三章 基于局域網(wǎng)的分布式多級緩存模型25-42
• 3.1 基于iSCSI和HDFS的分布式多級緩存模型DMCM原理25-29
• 3.1.1 模型的網(wǎng)絡架構(gòu)和基本原理25-27
• 3.1.2 兩級緩存的數(shù)據(jù)分塊與映射27-29
• 3.1.3 DMCM基本工作流程29
• 3.2 分布式多級緩存模型的緩存策略設計29-41
• 3.2.1 緩存索引表的設計29-36
• 3.2.2 緩存置換策略的設計36-41
• 3.3 本章小結(jié)41-42
• 第四章 分布式多級緩存模型實現(xiàn)方案42-61
• 4.1 塊設備驅(qū)動程序的設計42-52
• 4.1.1 初始化模塊45-46
• 4.1.2 讀請求處理模塊46-47
• 4.1.3 寫請求處理模塊47-48
• 4.1.4 延遲寫入硬盤模塊48-50
• 4.1.5 索引表維護模塊50-52
• 4.2 塊設備驅(qū)動程序與后端調(diào)度程序的交互52-55
• 4.3 后端調(diào)度程序的設計55-58
• 4.3.1 寫請求處理模塊55-57
• 4.3.2 讀請求處理模塊57-58
• 4.4 存儲受限下的索引表數(shù)據(jù)結(jié)構(gòu)優(yōu)化58-60
• 4.5 本章小結(jié)60-61
• 第五章 系統(tǒng)測試與結(jié)果分析61-82
• 5.1 分布式多級緩存系統(tǒng)的搭建61-68
• 5.1.1 使用VirtualBox搭建HDFS存儲集群及iSCSI服務器61-65
• 5.1.2 塊設備驅(qū)動程序及后端調(diào)度程序的部署65-68
• 5.2 系統(tǒng)寫性能測試與分析68-72
• 5.2.1 緩存單元大小對寫性能的影響68-71
• 5.2.2 寫入文件大小對寫性能的影響71-72
• 5.3 系統(tǒng)讀性能測試與分析72-80
• 5.3.1 不同訪問模式對讀性能的影響73-79
• 5.3.2 緩存局部性對讀性能的影響79-80
• 5.4 傳統(tǒng)的與采用分布式存儲的虛擬化方案對比80-81
• 5.5 本章小結(jié)81-82
• 結(jié)論和展望82-84
• 參考文獻84-87
• 攻讀碩士學位期間取得的研究成果87-88
• 致謝88-89
• 附件89

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 王征;劉心松;李美安;;企業(yè)信息分布式存儲的熱點處理策略[J];計算機集成制造系統(tǒng);2006年09期

2 李磊;沈海斌;黃凱;嚴曉浪;Han Sangil;Ahmed A Jerraya;;分布式存儲管理在多核設計中的高層建模[J];電子與信息學報;2008年11期

3 劉翔;汪海玲;;分布式存儲中的一種數(shù)據(jù)放置策略[J];計算機與數(shù)字工程;2009年05期

4 陳衛(wèi)衛(wèi);吳海佳;胥光輝;;分布式存儲中文件分割的最優(yōu)化模型[J];解放軍理工大學學報(自然科學版);2010年04期

5 崔忠強;左德承;張展;;在云間可重構(gòu)的分布式存儲[J];系統(tǒng)工程理論與實踐;2011年S2期

6 郝杰;逯彥博;劉鑫吉;夏樹濤;;分布式存儲中的再生碼綜述[J];重慶郵電大學學報(自然科學版);2013年01期

7 唐京偉;;基于云計算的分布式存儲技術(shù)[J];中國傳媒科技;2013年15期

8 郭棟;王偉;曾國蓀;;基于一致性樹分布的數(shù)據(jù)分布式存儲方法[J];計算機應用;2013年12期

9 蘇李亮;王云福;侯斌;;海量設計文檔分布式存儲及負載均衡的研究與實現(xiàn)[J];電信科學;2013年12期

10 謝然;;敢問存儲之路在何方?見分布式存儲搖曳在數(shù)據(jù)枝頭[J];互聯(lián)網(wǎng)周刊;2014年02期

中國重要會議論文全文數(shù)據(jù)庫 前7條

1 蘇李亮;王云福;侯斌;;海量設計文檔分布式存儲及負載均衡的研究與實現(xiàn)[A];2013電力行業(yè)信息化年會論文集[C];2013年

2 蘇李亮;王云福;侯斌;;海量設計文檔分布式存儲及負載均衡的研究與實現(xiàn)[A];2013電力行業(yè)信息化年會論文集[C];2013年

3 鄭文武;李先緒;黃植勤;邱紅飛;;云存儲關鍵技術(shù)[A];2012全國無線及移動通信學術(shù)大會論文集（下）[C];2012年

4 蔣軼林;郭淑琴;;分布式存儲在數(shù)字集群移動通信系統(tǒng)中的應用[A];浙江省電子學會2013學術(shù)年會論文集[C];2013年

5 姜繼忱;陳鋼;;P2P之路——締造“分布式對等”的Internet3.0[A];全面建設小康社會：中國科技工作者的歷史責任——中國科協(xié)2003年學術(shù)年會論文集（下）[C];2003年

6 付偉;肖儂;盧錫城;;QoS感知的副本放置問題研究綜述[A];第15屆全國信息存儲技術(shù)學術(shù)會議論文集[C];2008年

7 張彥;劉欣然;徐慧彬;;一種基于虛擬計算環(huán)境的分布式存儲體系結(jié)構(gòu)[A];2009全國計算機網(wǎng)絡與通信學術(shù)會議論文集[C];2009年

中國重要報紙全文數(shù)據(jù)庫 前8條

1 京東架構(gòu)委員會主任 云平臺首席架構(gòu)師 系統(tǒng)技術(shù)部負責人 劉海鋒;京東:分布式存儲體系成為業(yè)務基石[N];中國信息化周報;2014年

2 《網(wǎng)絡世界》記者 于翔;京東分布式存儲體系研發(fā)歷程[N];網(wǎng)絡世界;2014年

3 《網(wǎng)絡世界》記者 于翔;融合一體機投入大規(guī)模商用[N];網(wǎng)絡世界;2013年

4 記者 余榮華;大數(shù)據(jù)，催生大變革[N];人民日報;2014年

5 本報記者 張佳星;新生產(chǎn)業(yè)布局如何“云”中索驥[N];科技日報;2014年

6 本報記者 甘露;物聯(lián)網(wǎng)讓管理更美妙[N];計算機世界;2013年

7 本報記者 郭濤;華為幫用戶定制HANA一體機[N];中國計算機報;2013年

8 臨江;手機瀏覽器,3G時代的采礦機？[N];人民郵電;2009年

中國博士學位論文全文數(shù)據(jù)庫 前9條

1 吳思;容錯分布式存儲系統(tǒng)擴容機制研究[D];中國科學技術(shù)大學;2016年

2 胡q，

本文編號：465504