本文關(guān)鍵詞：基于SSD的Key-Value系統(tǒng)優(yōu)化策略研究與實(shí)現(xiàn)

  更多相關(guān)文章： Key-Value系統(tǒng) SSD 壓縮 熱點(diǎn)數(shù)據(jù)識(shí)別 相關(guān)性檢測(cè) 內(nèi)存映射文件

【摘要】：互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展催生了海量的數(shù)據(jù),越來(lái)越多以數(shù)據(jù)為中心的應(yīng)用滲透到人們生活的方方面面。這些應(yīng)用對(duì)存儲(chǔ)系統(tǒng)提出了更高的要求。其中,如何為這些數(shù)據(jù)建立高效的索引成為一大挑戰(zhàn)。Key-Value系統(tǒng)是一種為海量數(shù)據(jù)建立索引的有效解決方案,它具有操作延遲低、吞吐率高的特點(diǎn)。但是,Key-Value系統(tǒng)對(duì)底層存儲(chǔ)設(shè)備的訪問(wèn)主要是隨機(jī)讀寫(xiě),建立在磁盤(pán)之上的Key-Value系統(tǒng)必然性能低下。相比之下,基于閃存的固態(tài)硬盤(pán)(SSD,Solid State Drive)具有良好的隨機(jī)訪問(wèn)性能,是構(gòu)建Key-Value系統(tǒng)的理想存儲(chǔ)設(shè)備。本文主要研究基于SSD的Key-Value系統(tǒng)查詢優(yōu)化策略,論文的主要工作和創(chuàng)新點(diǎn)有以下幾個(gè)方面:首先,針對(duì)一種構(gòu)建在SSD之上的Key-Value系統(tǒng)——Skimpy Stash中壓縮策略性能低下的問(wèn)題,提出了一種基于鏈表壓縮的讀寫(xiě)優(yōu)化機(jī)制。壓縮活動(dòng)可以將鏈表中分散在SSD不同頁(yè)面的Key-Value寫(xiě)入同一個(gè)頁(yè)面,該策略通過(guò)在哈希表目錄中增加一個(gè)壓縮計(jì)數(shù)器來(lái)減少壓縮次數(shù),從而有效減少壓縮活動(dòng)對(duì)客戶端的影響。實(shí)驗(yàn)表明,總的壓縮次數(shù)平均減少了10%到34%。此外,還測(cè)試了壓縮活動(dòng)對(duì)平均查詢時(shí)間的影響,指出了合理設(shè)置壓縮因子的重要性。其次,針對(duì)整個(gè)系統(tǒng)中大量的Key-Value具有不同的訪問(wèn)熱度、一些Key-Value之間具有相關(guān)性等問(wèn)題,提出了基于熱點(diǎn)數(shù)據(jù)識(shí)別和相關(guān)性檢測(cè)的Get優(yōu)化策略。該策略通過(guò)將熱點(diǎn)數(shù)據(jù)提前、將相關(guān)數(shù)據(jù)放在SSD的同一頁(yè)面來(lái)減少對(duì)SSD的讀操作,從而有效縮短熱點(diǎn)Key-Value和相關(guān)Key-Value的Get時(shí)間。實(shí)驗(yàn)表明,基于熱點(diǎn)數(shù)據(jù)識(shí)別的優(yōu)化策略能夠?qū)SD的讀操作減少6%,基于相關(guān)性檢測(cè)的優(yōu)化策略能夠?qū)SD的讀操作減少10%以上。最后,針對(duì)Key-Value系統(tǒng)對(duì)吞吐率要求較高的問(wèn)題,提出利用內(nèi)存映射文件機(jī)制減少對(duì)SSD的訪問(wèn),從而提高系統(tǒng)吞吐率,降低訪問(wèn)延遲。該機(jī)制在對(duì)數(shù)據(jù)進(jìn)行讀寫(xiě)操作之前,先將一定粒度的文件直接映射到內(nèi)存中。實(shí)驗(yàn)表明,這一優(yōu)化措施能夠?qū)⒉樵儠r(shí)間減少21%至30%。
【關(guān)鍵詞】：Key-Value系統(tǒng) SSD 壓縮 熱點(diǎn)數(shù)據(jù)識(shí)別 相關(guān)性檢測(cè) 內(nèi)存映射文件
【學(xué)位授予單位】：國(guó)防科學(xué)技術(shù)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類號(hào)】：TP333
【目錄】：

• 摘要10-11
• Abstract11-12
• 第一章 緒論12-20
• 1.1 研究背景12-16
• 1.1.1 存儲(chǔ)需求12-14
• 1.1.2 Key-Value系統(tǒng)概述14-15
• 1.1.3 新型存儲(chǔ)介質(zhì)15-16
• 1.2 研究現(xiàn)狀16-17
• 1.3 課題內(nèi)容和研究意義17
• 1.4 論文組織結(jié)構(gòu)17-20
• 第二章 基于SSD的Key-Value系統(tǒng)相關(guān)研究20-32
• 2.1 基于閃存的SSD研究20-22
• 2.2 基于SSD的Key-Value系統(tǒng)研究22-27
• 2.2.1 內(nèi)存索引方面23-25
• 2.2.2 系統(tǒng)延遲方面25-27
• 2.3 Key-Value系統(tǒng)中的性能優(yōu)化技術(shù)27-30
• 2.3.1 哈希策略研究27-28
• 2.3.2 BloomFilter相關(guān)研究28-30
• 2.4 本章小結(jié)30-32
• 第三章 基于鏈表壓縮的讀寫(xiě)優(yōu)化機(jī)制32-44
• 3.1 研究背景32-35
• 3.1.1 背景簡(jiǎn)介32
• 3.1.2 SkimpyStash簡(jiǎn)介32-35
• 3.2 當(dāng)前壓縮策略35-37
• 3.2.1 壓縮策略簡(jiǎn)介35-36
• 3.2.2 問(wèn)題分析36-37
• 3.3 壓縮策略優(yōu)化與實(shí)現(xiàn)37-39
• 3.3.1 壓縮流程37-38
• 3.3.2 壓縮策略設(shè)計(jì)原則38
• 3.3.3 壓縮策略優(yōu)化38-39
• 3.4 實(shí)驗(yàn)測(cè)試與結(jié)果分析39-42
• 3.4.1 測(cè)試環(huán)境與測(cè)試負(fù)載39-40
• 3.4.2 壓縮次數(shù)比較40-41
• 3.4.3 壓縮活動(dòng)的影響41-42
• 3.5 本章小結(jié)42-44
• 第四章 基于熱點(diǎn)數(shù)據(jù)識(shí)別和相關(guān)性檢測(cè)的Get優(yōu)化策略44-60
• 4.1 研究背景44-45
• 4.2 熱點(diǎn)數(shù)據(jù)識(shí)別策略的設(shè)計(jì)與實(shí)現(xiàn)45-51
• 4.2.1 熱點(diǎn)數(shù)據(jù)識(shí)別策略45
• 4.2.2 熱點(diǎn)數(shù)據(jù)識(shí)別策略實(shí)現(xiàn)45-49
• 4.2.3 實(shí)驗(yàn)結(jié)果與分析49-51
• 4.3 相關(guān)性檢測(cè)策略的設(shè)計(jì)與實(shí)現(xiàn)51-58
• 4.3.1 相關(guān)性檢測(cè)策略51-52
• 4.3.2 相關(guān)性檢測(cè)策略實(shí)現(xiàn)52-56
• 4.3.3 實(shí)驗(yàn)結(jié)果與分析56-58
• 4.4 查詢優(yōu)化策略開(kāi)銷分析58-59
• 4.5 本章小結(jié)59-60
• 第五章 基于內(nèi)存映射文件的I/O優(yōu)化機(jī)制60-68
• 5.1 研究背景及相關(guān)研究60-62
• 5.1.1 研究背景60
• 5.1.2 相關(guān)研究60-62
• 5.2 基于SSD的內(nèi)存映射文件策略的研究與實(shí)現(xiàn)62-65
• 5.2.1 基于SSD的內(nèi)存映射文件策略研究62-63
• 5.2.2 基于SSD的內(nèi)存映射文件策略實(shí)現(xiàn)63-65
• 5.3 算法性能測(cè)試65-66
• 5.3.1 實(shí)驗(yàn)測(cè)試65-66
• 5.3.2 結(jié)果分析66
• 5.4 本章小結(jié)66-68
• 第六章 總結(jié)與展望68-70
• 6.1 工作總結(jié)68-69
• 6.2 研究展望69-70
• 致謝70-72
• 參考文獻(xiàn)72-76
• 作者在學(xué)期間取得的學(xué)術(shù)成果76

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前3條

1 蘇翔宇;;Key-Value數(shù)據(jù)庫(kù)及其應(yīng)用研究[J];電腦知識(shí)與技術(shù);2012年05期

2 肖紅玉;陳海;黃靜;;Key-Value數(shù)據(jù)庫(kù)的研究與應(yīng)用[J];自動(dòng)化與儀器儀表;2010年04期

3 呂娜;;關(guān)系數(shù)據(jù)庫(kù)之父——Edgar Frank Codd[J];程序員;2010年06期

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前1條

1 趙見(jiàn);高性能高可用鍵值存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2010年

，

本文編號(hào)：961785