本文關(guān)鍵詞：基于SSD的Key-Value系統(tǒng)優(yōu)化策略研究與實現(xiàn)

  更多相關(guān)文章： Key-Value系統(tǒng) SSD 壓縮 熱點數(shù)據(jù)識別 相關(guān)性檢測 內(nèi)存映射文件

【摘要】：互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展催生了海量的數(shù)據(jù),越來越多以數(shù)據(jù)為中心的應(yīng)用滲透到人們生活的方方面面。這些應(yīng)用對存儲系統(tǒng)提出了更高的要求。其中,如何為這些數(shù)據(jù)建立高效的索引成為一大挑戰(zhàn)。Key-Value系統(tǒng)是一種為海量數(shù)據(jù)建立索引的有效解決方案,它具有操作延遲低、吞吐率高的特點。但是,Key-Value系統(tǒng)對底層存儲設(shè)備的訪問主要是隨機讀寫,建立在磁盤之上的Key-Value系統(tǒng)必然性能低下。相比之下,基于閃存的固態(tài)硬盤(SSD,Solid State Drive)具有良好的隨機訪問性能,是構(gòu)建Key-Value系統(tǒng)的理想存儲設(shè)備。本文主要研究基于SSD的Key-Value系統(tǒng)查詢優(yōu)化策略,論文的主要工作和創(chuàng)新點有以下幾個方面:首先,針對一種構(gòu)建在SSD之上的Key-Value系統(tǒng)——Skimpy Stash中壓縮策略性能低下的問題,提出了一種基于鏈表壓縮的讀寫優(yōu)化機制。壓縮活動可以將鏈表中分散在SSD不同頁面的Key-Value寫入同一個頁面,該策略通過在哈希表目錄中增加一個壓縮計數(shù)器來減少壓縮次數(shù),從而有效減少壓縮活動對客戶端的影響。實驗表明,總的壓縮次數(shù)平均減少了10%到34%。此外,還測試了壓縮活動對平均查詢時間的影響,指出了合理設(shè)置壓縮因子的重要性。其次,針對整個系統(tǒng)中大量的Key-Value具有不同的訪問熱度、一些Key-Value之間具有相關(guān)性等問題,提出了基于熱點數(shù)據(jù)識別和相關(guān)性檢測的Get優(yōu)化策略。該策略通過將熱點數(shù)據(jù)提前、將相關(guān)數(shù)據(jù)放在SSD的同一頁面來減少對SSD的讀操作,從而有效縮短熱點Key-Value和相關(guān)Key-Value的Get時間。實驗表明,基于熱點數(shù)據(jù)識別的優(yōu)化策略能夠?qū)SD的讀操作減少6%,基于相關(guān)性檢測的優(yōu)化策略能夠?qū)SD的讀操作減少10%以上。最后,針對Key-Value系統(tǒng)對吞吐率要求較高的問題,提出利用內(nèi)存映射文件機制減少對SSD的訪問,從而提高系統(tǒng)吞吐率,降低訪問延遲。該機制在對數(shù)據(jù)進行讀寫操作之前,先將一定粒度的文件直接映射到內(nèi)存中。實驗表明,這一優(yōu)化措施能夠?qū)⒉樵儠r間減少21%至30%。
【關(guān)鍵詞】：Key-Value系統(tǒng) SSD 壓縮 熱點數(shù)據(jù)識別 相關(guān)性檢測 內(nèi)存映射文件
【學位授予單位】：國防科學技術(shù)大學
【學位級別】：碩士
【學位授予年份】：2014
【分類號】：TP333
【目錄】：

• 摘要10-11
• Abstract11-12
• 第一章 緒論12-20
• 1.1 研究背景12-16
• 1.1.1 存儲需求12-14
• 1.1.2 Key-Value系統(tǒng)概述14-15
• 1.1.3 新型存儲介質(zhì)15-16
• 1.2 研究現(xiàn)狀16-17
• 1.3 課題內(nèi)容和研究意義17
• 1.4 論文組織結(jié)構(gòu)17-20
• 第二章 基于SSD的Key-Value系統(tǒng)相關(guān)研究20-32
• 2.1 基于閃存的SSD研究20-22
• 2.2 基于SSD的Key-Value系統(tǒng)研究22-27
• 2.2.1 內(nèi)存索引方面23-25
• 2.2.2 系統(tǒng)延遲方面25-27
• 2.3 Key-Value系統(tǒng)中的性能優(yōu)化技術(shù)27-30
• 2.3.1 哈希策略研究27-28
• 2.3.2 BloomFilter相關(guān)研究28-30
• 2.4 本章小結(jié)30-32
• 第三章 基于鏈表壓縮的讀寫優(yōu)化機制32-44
• 3.1 研究背景32-35
• 3.1.1 背景簡介32
• 3.1.2 SkimpyStash簡介32-35
• 3.2 當前壓縮策略35-37
• 3.2.1 壓縮策略簡介35-36
• 3.2.2 問題分析36-37
• 3.3 壓縮策略優(yōu)化與實現(xiàn)37-39
• 3.3.1 壓縮流程37-38
• 3.3.2 壓縮策略設(shè)計原則38
• 3.3.3 壓縮策略優(yōu)化38-39
• 3.4 實驗測試與結(jié)果分析39-42
• 3.4.1 測試環(huán)境與測試負載39-40
• 3.4.2 壓縮次數(shù)比較40-41
• 3.4.3 壓縮活動的影響41-42
• 3.5 本章小結(jié)42-44
• 第四章 基于熱點數(shù)據(jù)識別和相關(guān)性檢測的Get優(yōu)化策略44-60
• 4.1 研究背景44-45
• 4.2 熱點數(shù)據(jù)識別策略的設(shè)計與實現(xiàn)45-51
• 4.2.1 熱點數(shù)據(jù)識別策略45
• 4.2.2 熱點數(shù)據(jù)識別策略實現(xiàn)45-49
• 4.2.3 實驗結(jié)果與分析49-51
• 4.3 相關(guān)性檢測策略的設(shè)計與實現(xiàn)51-58
• 4.3.1 相關(guān)性檢測策略51-52
• 4.3.2 相關(guān)性檢測策略實現(xiàn)52-56
• 4.3.3 實驗結(jié)果與分析56-58
• 4.4 查詢優(yōu)化策略開銷分析58-59
• 4.5 本章小結(jié)59-60
• 第五章 基于內(nèi)存映射文件的I/O優(yōu)化機制60-68
• 5.1 研究背景及相關(guān)研究60-62
• 5.1.1 研究背景60
• 5.1.2 相關(guān)研究60-62
• 5.2 基于SSD的內(nèi)存映射文件策略的研究與實現(xiàn)62-65
• 5.2.1 基于SSD的內(nèi)存映射文件策略研究62-63
• 5.2.2 基于SSD的內(nèi)存映射文件策略實現(xiàn)63-65
• 5.3 算法性能測試65-66
• 5.3.1 實驗測試65-66
• 5.3.2 結(jié)果分析66
• 5.4 本章小結(jié)66-68
• 第六章 總結(jié)與展望68-70
• 6.1 工作總結(jié)68-69
• 6.2 研究展望69-70
• 致謝70-72
• 參考文獻72-76
• 作者在學期間取得的學術(shù)成果76

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前3條

1 蘇翔宇;;Key-Value數(shù)據(jù)庫及其應(yīng)用研究[J];電腦知識與技術(shù);2012年05期

2 肖紅玉;陳海;黃靜;;Key-Value數(shù)據(jù)庫的研究與應(yīng)用[J];自動化與儀器儀表;2010年04期

3 呂娜;;關(guān)系數(shù)據(jù)庫之父——Edgar Frank Codd[J];程序員;2010年06期

中國碩士學位論文全文數(shù)據(jù)庫 前1條

1 趙見;高性能高可用鍵值存儲系統(tǒng)的設(shè)計與實現(xiàn)[D];電子科技大學;2010年

，

本文編號：961785