本文關(guān)鍵詞：Key-Value Store讀寫性能研究與優(yōu)化，由筆耕文化傳播整理發(fā)布。

【摘要】：存儲引擎是存儲系統(tǒng)的核心,存儲系統(tǒng)的讀寫性能取決于存儲引擎的性能。本文的研究以當(dāng)前Key-Value Store的兩大主流存儲引擎LSM-Tree存儲引擎和哈希存儲引擎為主,詳細(xì)分析了傳統(tǒng)LSM-Tree結(jié)構(gòu)以及哈希存儲結(jié)構(gòu)代表性系統(tǒng)的讀寫特性。LSM-Tree的特點(diǎn)是順序?qū)懭攵４鎯σ鎰t側(cè)重內(nèi)存索引的效率。經(jīng)過對比分析之后,借鑒兩大存儲引擎在索引和硬盤存儲上的思想特點(diǎn),本文以LevelDB的結(jié)構(gòu)為原型,提出sLSM-Tree結(jié)構(gòu)(Segmented-Index based LSMTree,基于分段式索引的LSM-Tree結(jié)構(gòu))。1)在該存儲結(jié)構(gòu)的內(nèi)存索引部分引入分段式索引結(jié)構(gòu)解決為LSM-Tree加入哈希存儲內(nèi)存索引結(jié)構(gòu)所帶來的沖突,即通過分段式引入前綴樹索引和哈希映射索引的方式提高索引速度,在避免數(shù)據(jù)讀取時(shí)逐層索引的同時(shí),降低了因?qū)懭霑r(shí)壓縮合并操作帶來的物理地址變更頻繁造成的性能壓力。2)在內(nèi)存中為了進(jìn)一步提高對Key的查詢效率,本文在傳統(tǒng)布魯姆過濾器算法的基礎(chǔ)上結(jié)合內(nèi)存索引結(jié)構(gòu),提出了動(dòng)態(tài)陣列式布魯姆過濾器的優(yōu)化,即通過動(dòng)態(tài)設(shè)置布魯姆過濾器陣列的分組因子降低整個(gè)陣列的讀寫時(shí)間。持久化結(jié)構(gòu)依然采用Append-Only的日志結(jié)構(gòu)以維持LSM-Tree原有的高速順序?qū)懙膬?yōu)勢�；贔lash的固態(tài)硬盤(Solid State Drive,SSD)能夠提供很高的讀寫性能。但是,傳統(tǒng)LSM-Tree的壓縮合并操作是針對機(jī)械硬盤的,本文針對SSD的結(jié)構(gòu)和特性對SSD的壓縮合并操作進(jìn)行了相應(yīng)的優(yōu)化。針對本文提出的分段式索引新方法和動(dòng)態(tài)陣列式布魯姆過濾器優(yōu)化分別進(jìn)行了對比實(shí)驗(yàn),從實(shí)驗(yàn)結(jié)果分析,與采用傳統(tǒng)LSM-Tree存儲引擎的Level DB相比,s LSM-Tree提高了內(nèi)存索引和硬盤讀寫性能。最后,通過對實(shí)驗(yàn)數(shù)據(jù)進(jìn)一步的整理和分析,討論了sLSM-Tree進(jìn)一步提升的空間。
【關(guān)鍵詞】：Key-Value LSM-Tree 哈希存儲 Bloom Filter
【學(xué)位授予單位】：中國礦業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP333
【目錄】：

• 致謝4-5
• 摘要5-6
• Abstract6-14
• 1 緒論14-22
• 1.1 研究背景14-16
• 1.2 國內(nèi)外研究現(xiàn)狀16-20
• 1.3 研究內(nèi)容20
• 1.4 論文結(jié)構(gòu)20-21
• 1.5 小結(jié)21-22
• 2 相關(guān)技術(shù)簡介22-28
• 2.1 LSM-Tree引擎22-24
• 2.2 哈希存儲引擎24-25
• 2.3 布魯姆過慮器25-27
• 2.4 小結(jié)27-28
• 3 典型Key-Value Store讀寫性能研究28-40
• 3.1 SkimpyStash存儲結(jié)構(gòu)28-31
• 3.2 LSM-Trie存儲結(jié)構(gòu)31-36
• 3.3 對比分析與解決方案36-39
• 3.4 小結(jié)39-40
• 4 基于sLSM-Tree的Key-Value Store優(yōu)化設(shè)計(jì)方案40-64
• 4.1 sLSM-Tree結(jié)構(gòu)41-44
• 4.2 緩存和Skiplist索引結(jié)構(gòu)44-47
• 4.3 分段式索引優(yōu)化方法47-52
• 4.4 動(dòng)態(tài)陣列式布魯姆過濾器優(yōu)化52-56
• 4.5 硬盤存儲結(jié)構(gòu)和讀寫操作56-63
• 4.6 小結(jié)63-64
• 5 實(shí)驗(yàn)及性能分析64-70
• 5.1 實(shí)驗(yàn)環(huán)境64-65
• 5.2 分段式索引讀寫對比實(shí)驗(yàn)65-68
• 5.3 動(dòng)態(tài)陣列式布魯姆過濾器優(yōu)化對比實(shí)驗(yàn)68-69
• 5.4 小結(jié)69-70
• 6 總結(jié)與展望70-72
• 6.1 總結(jié)70-71
• 6.2 展望71-72
• 參考文獻(xiàn)72-76
• 作者簡歷76-78
• 學(xué)位論文數(shù)據(jù)集78

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 李紅;藍(lán)光存儲系統(tǒng) 光盤容量高達(dá)23G[J];信息記錄材料;2004年01期

2 ;存儲系統(tǒng) 金融行業(yè)應(yīng)用卓越獎(jiǎng) 醫(yī)療行業(yè)應(yīng)用卓越獎(jiǎng)[J];每周電腦報(bào);2004年20期

3 諾拉;EMC Symmetrix DMX-3存儲系統(tǒng) 超大容量 高速存取[J];中國計(jì)算機(jī)用戶;2005年31期

4 謝世誠;;浪潮推出4Gb光纖存儲系統(tǒng)[J];微型機(jī)與應(yīng)用;2006年07期

5 ;昆騰分級存儲系統(tǒng)[J];軟件世界;2009年11期

6 ;超低功耗云存儲系統(tǒng)或被地方政府看好[J];中國有線電視;2013年08期

7 湯赫男;;云存儲系統(tǒng)的分析與應(yīng)用研究[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2013年24期

8 諶偉;;云存儲系統(tǒng)的分析與應(yīng)用探討[J];數(shù)字技術(shù)與應(yīng)用;2013年10期

9 雅君;跟上企業(yè)的匆匆腳步——利用HP SureStoreEXP256構(gòu)筑企業(yè)存儲系統(tǒng)[J];中國計(jì)算機(jī)用戶;2000年08期

10 賈莉;;Symmetrix8000實(shí)現(xiàn)19TB存儲[J];每周電腦報(bào);2000年18期

中國重要會(huì)議論文全文數(shù)據(jù)庫 前10條

1 趙志剛;;存儲系統(tǒng)在企業(yè)信息化中的應(yīng)用[A];2005年安徽通信論文集[C];2006年

2 黃曉峰;張杰;;礦井信息中心存儲系統(tǒng)設(shè)計(jì)[A];安全高效礦井機(jī)電裝備及信息化技術(shù)——陜西省煤炭學(xué)會(huì)學(xué)術(shù)年會(huì)論文集（2011）[C];2011年

3 孫哲;李昌銀;;構(gòu)建核電高可用云存儲系統(tǒng)[A];2012電力行業(yè)信息化年會(huì)優(yōu)秀論文專輯[C];2012年

4 焦超;周天彤;李祥學(xué);李建華;;面向?yàn)?zāi)備的高性能可信存儲系統(tǒng)設(shè)計(jì)[A];第十一屆保密通信與信息安全現(xiàn)狀研討會(huì)論文集[C];2009年

5 汪位龍;;設(shè)計(jì)院存儲系統(tǒng)建設(shè)初探[A];中國公路學(xué)會(huì)計(jì)算機(jī)應(yīng)用分會(huì)2004年年會(huì)學(xué)術(shù)論文集[C];2004年

6 梅松竹;李宗伯;;Storage 7000系列混合存儲系統(tǒng)分析[A];2009年中國高校通信類院系學(xué)術(shù)研討會(huì)論文集[C];2009年

7 王克敏;張璽;胡江凱;王毅濤;;NWP資料歸檔方法及其存儲系統(tǒng)的應(yīng)用[A];中國氣象學(xué)會(huì)2006年年會(huì)“中尺度天氣動(dòng)力學(xué)、數(shù)值模擬和預(yù)測”分會(huì)場論文集[C];2006年

8 孫哲;李昌銀;;DeDu:基于云計(jì)算的冗余刪除存儲系統(tǒng)[A];電力行業(yè)新一代信息技術(shù)研討會(huì)論文集[C];2011年

9 高小伍;黨齊民;林晨;;校園網(wǎng)存儲系統(tǒng)的研究與實(shí)現(xiàn)[A];中國高等教育學(xué)會(huì)教育信息化分會(huì)第十次學(xué)術(shù)年會(huì)論文集[C];2010年

10 宮海林;郭長國;苑洪亮;王懷民;;支持事務(wù)的非結(jié)構(gòu)化數(shù)據(jù)聚合存儲系統(tǒng)GSL[A];2006年全國開放式分布與并行計(jì)算機(jī)學(xué)術(shù)會(huì)議論文集（三）[C];2006年

中國重要報(bào)紙全文數(shù)據(jù)庫 前10條

1 ;第三季度中國存儲系統(tǒng)市場達(dá)19.1億元[N];中國高新技術(shù)產(chǎn)業(yè)導(dǎo)報(bào);2005年

2 本報(bào)記者 薛斐;服務(wù)：存儲系統(tǒng)的靈魂[N];計(jì)算機(jī)世界;2002年

3 單群一;惠普推出全新一體化存儲系統(tǒng)[N];中國稅務(wù)報(bào);2007年

4 ;浪潮推出4Gb光纖存儲系統(tǒng)[N];人民郵電;2006年

5 ;今年第二季度 存儲系統(tǒng)市場價(jià)值達(dá)12.6億元[N];人民郵電;2006年

6 郭;日立推出普及型存儲系統(tǒng)[N];計(jì)算機(jī)世界;2007年

7 陳耀光;朗登 扛起存儲系統(tǒng)設(shè)計(jì)院的大旗[N];中國企業(yè)報(bào);2001年

8 ;富士通存儲系統(tǒng)全面升級[N];網(wǎng)絡(luò)世界;2009年

9 ;EMC亞洲生產(chǎn)制造中心落戶深圳[N];網(wǎng)絡(luò)世界;2009年

10 臨履;存儲系統(tǒng)有了“設(shè)計(jì)院”[N];網(wǎng)絡(luò)世界;2001年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 趙雨虹;云存儲系統(tǒng)資源調(diào)度技術(shù)研究[D];華中科技大學(xué);2015年

2 王福偉;列存儲系統(tǒng)的數(shù)據(jù)安全與網(wǎng)絡(luò)性能優(yōu)化模型研究[D];燕山大學(xué);2016年

3 張菁;大規(guī)模分布式糾刪碼存儲系統(tǒng)中的高效數(shù)據(jù)傳輸技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2015年

4 陸承濤;存儲系統(tǒng)性能管理問題的研究[D];華中科技大學(xué);2010年

5 聶雪軍;內(nèi)容感知存儲系統(tǒng)中信息信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

6 羅東健;大規(guī)模存儲系統(tǒng)高可靠性關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2011年

7 聶雪軍;內(nèi)容感知存儲系統(tǒng)中信息生命周期管理關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2010年

8 王鵬;低密度奇偶校驗(yàn)碼應(yīng)用于存儲系統(tǒng)的關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2013年

9 刁瑩;用數(shù)學(xué)建模方法評價(jià)存儲系統(tǒng)性能[D];哈爾濱工程大學(xué);2013年

10 符青云;面向大規(guī)模流媒體服務(wù)的高性能存儲系統(tǒng)研究[D];電子科技大學(xué);2009年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 馮漢超;基于Hadoop的分布式副本策略研究[D];河北工程大學(xué);2015年

2 俞新杰;跨數(shù)據(jù)中心容錯(cuò)的云存儲系統(tǒng)[D];浙江大學(xué);2016年

3 王振升;可重構(gòu)堆疊存儲系統(tǒng)的設(shè)計(jì)及實(shí)現(xiàn)研究[D];太原理工大學(xué);2016年

4 王海群;面向數(shù)字社區(qū)的云存儲系統(tǒng)的研究與實(shí)現(xiàn)[D];中國海洋大學(xué);2015年

5 范海震;基于Linux的MPEG-4圖像壓縮存儲系統(tǒng)[D];西安電子科技大學(xué);2008年

6 陳運(yùn)海;編碼容錯(cuò)的云存儲系統(tǒng)與性能優(yōu)化[D];南京大學(xué);2013年

7 盧義婉;基于網(wǎng)絡(luò)編碼的云存儲系統(tǒng)中負(fù)載均衡技術(shù)研究[D];南京大學(xué);2013年

8 王謙;云存儲系統(tǒng)基于屬性的數(shù)據(jù)訪問控制研究[D];江蘇大學(xué);2016年

9 蔡京津;基于Orleans的塊存儲系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];吉林大學(xué);2016年

10 王丹丹;數(shù)字射頻存儲系統(tǒng)中高速DAC電路的設(shè)計(jì)與實(shí)現(xiàn)[D];燕山大學(xué);2016年

  本文關(guān)鍵詞：Key-Value Store讀寫性能研究與優(yōu)化，，由筆耕文化傳播整理發(fā)布。

本文編號：446062