發(fā)布時(shí)間：2017-09-27 18:24

  本文關(guān)鍵詞：云存儲環(huán)境下的混合存儲算法研究與實(shí)現(xiàn)

  更多相關(guān)文章： 混合存儲系統(tǒng) 固態(tài)盤 緩存替換算法 熱點(diǎn)識別

【摘要】：隨著大數(shù)據(jù)的快速發(fā)展,大規(guī)模的數(shù)據(jù)運(yùn)算與讀寫對存儲系統(tǒng)提出了越來越高的要求。這些系統(tǒng)中運(yùn)行的任務(wù)具有高并發(fā)度特征,使得存儲系統(tǒng)的數(shù)據(jù)訪問呈現(xiàn)隨機(jī)化。固態(tài)盤(SSD)是一種新型的存儲器件,具有優(yōu)異的隨機(jī)讀寫性能,但其寫入次數(shù)受到限制,成本高昂,因此,基于SSD和磁盤(HDD)的混合系統(tǒng)成為存儲技術(shù)發(fā)展的主要方向。論文針對SSD-HDD混合存儲系統(tǒng),分析了各種存儲介質(zhì)的特點(diǎn),研究了混合存儲領(lǐng)域的關(guān)鍵技術(shù),面向結(jié)構(gòu)混合存儲系統(tǒng)提出了一種基于動態(tài)替換代價(jià)的緩存調(diào)度算法(Dynamic Replacment Cost),以請求中的熱點(diǎn)數(shù)據(jù)以及替換數(shù)據(jù)的代價(jià)作為緩存替換依據(jù),不僅有效地提高了緩存命中率,而且通過減少磁盤隨機(jī)寫操作提升了系統(tǒng)的整體性能。論文的主要工作如下:1)分析了HHD,SSD,NVRAM三種常用的存儲設(shè)備的特點(diǎn)與局限性。2)研究了SSD的關(guān)鍵技術(shù),并分析了在混合存儲中緩存調(diào)度算法相關(guān)工作。3)詳細(xì)描述了基于Linux Device Mapper而設(shè)計(jì)的混合存儲系統(tǒng),對其讀寫調(diào)度機(jī)制、底層實(shí)現(xiàn)方式、和主要數(shù)據(jù)結(jié)構(gòu)進(jìn)行了分析。4)設(shè)計(jì)實(shí)現(xiàn)了DRC算法,使其能夠更好的應(yīng)對云計(jì)算場景,并對DRC算法的復(fù)雜度進(jìn)行了優(yōu)化。5)對DRC算法進(jìn)行了系統(tǒng)的測試,與兩種經(jīng)典算法FIFO和LRU這進(jìn)行了比較,驗(yàn)證了DRC算法的有效性。通過對實(shí)驗(yàn)結(jié)果的分析,本文得出結(jié)論:當(dāng)數(shù)據(jù)的訪問請求呈現(xiàn)隨機(jī)化和碎片化時(shí),無論緩存空間較小或緩存空間充足,DRC算法都能通過提升命中率和提升臟數(shù)據(jù)寫效率的方式使系統(tǒng)的I/O性能獲得顯著提升。在高并發(fā)讀寫的場景下,DRC算法與LRU或FIFO算法對比緩存命中率提升可達(dá)11.6%,IO速度最多提升16.7%。在保證了命中率和I/O速度的同時(shí),DRC算法并沒有過度的消耗CPU的性能,或進(jìn)行頻繁的閃存擦除操作。對于混合系統(tǒng)中運(yùn)行的其他進(jìn)程沒有過度干擾,也一定程度上保證了閃存設(shè)備的壽命。在混合存儲系統(tǒng)中,證明了DRC算法的可行性與優(yōu)越性。
【關(guān)鍵詞】：混合存儲系統(tǒng) 固態(tài)盤 緩存替換算法 熱點(diǎn)識別
【學(xué)位授予單位】：上海交通大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP333
【目錄】：

• 摘要3-5
• ABSTRACT5-12
• 第一章 緒論12-15
• 1.1 研究背景與意義12-13
• 1.2 研究內(nèi)容及目標(biāo)13
• 1.3 論文結(jié)構(gòu)13-15
• 第二章 混合存儲系統(tǒng)介紹15-22
• 2.1 存儲介質(zhì)特性15-18
• 2.1.1 HDD設(shè)備特性15
• 2.1.2 SSD設(shè)備特性15-18
• 2.1.3 NVRAM設(shè)備特性18
• 2.1.4各存儲介質(zhì)的性能對比18
• 2.2 閃存設(shè)備在存儲中的應(yīng)用方式18-21
• 2.2.1 閃存卡加速器20
• 2.2.2 閃存陣列20
• 2.2.3 基于閃存的分布式集群系統(tǒng)20-21
• 2.2.4 混合存儲21
• 2.3 本章小結(jié)21-22
• 第三章 閃存應(yīng)用關(guān)鍵技術(shù)22-27
• 3.1 地址映射22-23
• 3.1.1 基于頁的地址映射22-23
• 3.1.2 基于塊的地址映射23
• 3.1.3 混合式地址映射23
• 3.2 垃圾回收23-24
• 3.2.1 垃圾回收時(shí)機(jī)的選擇23-24
• 3.2.2 回收塊的選擇24
• 3.3 磨損均衡24-25
• 3.3.1 動態(tài)磨損均衡24
• 3.3.2 靜態(tài)磨損均衡24-25
• 3.4 閃存作為緩存時(shí)的管理策略25-26
• 3.4.1 基于頁的替換策略25
• 3.4.2 基于塊的替換策略25-26
• 3.5 本章小結(jié)26-27
• 第四章 DRC緩存替換算法設(shè)計(jì)27-41
• 4.1 算法設(shè)計(jì)關(guān)鍵因素27
• 4.2 替換算法的相關(guān)研究27-36
• 4.2.1 CFLRU算法28-29
• 4.2.2 LRU-WSR算法29-32
• 4.2.3 BPLRU算法32-36
• 4.2.4 CFDC算法36
• 4.2.5 ACR算法36
• 4.3 DRC算法的實(shí)現(xiàn)36-39
• 4.4 DRC算法的進(jìn)一步優(yōu)化39-40
• 4.5 本章小結(jié)40-41
• 第五章 DRC算法的應(yīng)用系統(tǒng)設(shè)計(jì)41-51
• 5.1 系統(tǒng)的實(shí)現(xiàn)基礎(chǔ)41-46
• 5.1.1 Device Mapper工作原理41-42
• 5.1.2 dm-io工作原理42-43
• 5.1.3 kcopyd工作原理43-45
• 5.1.4 回寫與透寫45-46
• 5.2 DRC算法實(shí)現(xiàn)的關(guān)鍵數(shù)據(jù)結(jié)構(gòu)46-47
• 5.3 混合存儲系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)47-50
• 5.4 本章小結(jié)50-51
• 第六章 系統(tǒng)測試51-62
• 6.0 實(shí)驗(yàn)?zāi)繕?biāo)與測試方法51
• 6.1 實(shí)驗(yàn)環(huán)境與測試工具51-52
• 6.2 試驗(yàn)結(jié)果與分析52-61
• 6.2.1 全讀負(fù)載測試53-54
• 6.2.2 讀寫負(fù)載測試54-57
• 6.2.3 算法復(fù)雜度測試57-59
• 6.2.4 DRC算法對替換次數(shù)的優(yōu)化59-60
• 6.2.5 DRC算法的I/O性能性價(jià)比60-61
• 6.3 實(shí)驗(yàn)結(jié)論61
• 6.4 本章小結(jié)61-62
• 第七章 總結(jié)與展望62-63
• 參考文獻(xiàn)63-65
• 致謝65-66
• 攻讀碩士學(xué)位期間已發(fā)表或錄用的論文66-68

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 于翔;日立數(shù)據(jù)推出Lightning 9900 V系列存儲系統(tǒng)[J];微電腦世界;2002年11期

2 周可,張江陵,馮丹;基于數(shù)據(jù)塊的對等存儲系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)工程與科學(xué);2003年03期

3 毛宇星;存儲系統(tǒng)未來發(fā)展的新趨勢[J];中國金融電腦;2004年03期

4 王洛;制造業(yè)存儲系統(tǒng)應(yīng)用選型[J];電子商務(wù)世界;2004年04期

5 李瑋;日立力推新存儲系統(tǒng)[J];微電腦世界;2004年11期

6 ;存儲系統(tǒng) 電信行業(yè)服務(wù)滿意獎[J];每周電腦報(bào);2004年20期

7 ;存儲系統(tǒng) 金融行業(yè)服務(wù)滿意獎 電信行業(yè)應(yīng)用卓越獎[J];每周電腦報(bào);2004年20期

8 ;存儲系統(tǒng) 制造行業(yè)產(chǎn)品創(chuàng)新獎[J];每周電腦報(bào);2004年20期

9 ;存儲系統(tǒng) 電信行業(yè)技術(shù)領(lǐng)先獎[J];每周電腦報(bào);2004年20期

10 ;快速恢復(fù)免重安裝——山東師范大學(xué)完成圖書館存儲系統(tǒng)建設(shè)[J];每周電腦報(bào);2004年28期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 趙志剛;;存儲系統(tǒng)在企業(yè)信息化中的應(yīng)用[A];2005年安徽通信論文集[C];2006年

2 黃曉峰;張杰;;礦井信息中心存儲系統(tǒng)設(shè)計(jì)[A];安全高效礦井機(jī)電裝備及信息化技術(shù)——陜西省煤炭學(xué)會學(xué)術(shù)年會論文集（2011）[C];2011年

3 孫哲;李昌銀;;構(gòu)建核電高可用云存儲系統(tǒng)[A];2012電力行業(yè)信息化年會優(yōu)秀論文專輯[C];2012年

4 焦超;周天彤;李祥學(xué);李建華;;面向?yàn)?zāi)備的高性能可信存儲系統(tǒng)設(shè)計(jì)[A];第十一屆保密通信與信息安全現(xiàn)狀研討會論文集[C];2009年

5 汪位龍;;設(shè)計(jì)院存儲系統(tǒng)建設(shè)初探[A];中國公路學(xué)會計(jì)算機(jī)應(yīng)用分會2004年年會學(xué)術(shù)論文集[C];2004年

6 梅松竹;李宗伯;;Storage 7000系列混合存儲系統(tǒng)分析[A];2009年中國高校通信類院系學(xué)術(shù)研討會論文集[C];2009年

7 王克敏;張璽;胡江凱;王毅濤;;NWP資料歸檔方法及其存儲系統(tǒng)的應(yīng)用[A];中國氣象學(xué)會2006年年會“中尺度天氣動力學(xué)、數(shù)值模擬和預(yù)測”分會場論文集[C];2006年

8 孫哲;李昌銀;;DeDu:基于云計(jì)算的冗余刪除存儲系統(tǒng)[A];電力行業(yè)新一代信息技術(shù)研討會論文集[C];2011年

9 高小伍;黨齊民;林晨;;校園網(wǎng)存儲系統(tǒng)的研究與實(shí)現(xiàn)[A];中國高等教育學(xué)會教育信息化分會第十次學(xué)術(shù)年會論文集[C];2010年

10 那文武;孟曉p，

本文編號：931246