發(fā)布時間：2020-05-30 21:52

【摘要】：隨著互聯(lián)網(wǎng)的高速發(fā)展,人們生活的各個方面都離不開互聯(lián)網(wǎng),人們在享受互聯(lián)網(wǎng)帶來便捷生活的同時,也使得互聯(lián)網(wǎng)數(shù)據(jù)高速增長。如何快速查詢和存儲海量數(shù)據(jù)已成為人們研究的重點,這也使得NoSQL數(shù)據(jù)庫快速發(fā)展。比較典型的NoSQL數(shù)據(jù)存儲形式是鍵值存儲,即一個鍵對應一個值。鍵值存儲系統(tǒng)可以理解為一個可持久化的更大容量的哈希表。存儲系統(tǒng)最重要的部分是存儲引擎,本文研究了當前最流行的日志結(jié)構(gòu)合并樹(LSM-Tree)存儲引擎�；谌罩窘Y(jié)構(gòu)合并樹的存儲引擎核心思想是順序?qū)懭?將修改的數(shù)據(jù)排序后保存在內(nèi)存,達到一定規(guī)模后再將內(nèi)存中修改的數(shù)據(jù)批量刷入磁盤,并且在寫入過程中與之前已經(jīng)存在的磁盤數(shù)據(jù)進行合并,合并的過程中丟棄掉舊的鍵值數(shù)據(jù)。日志結(jié)構(gòu)合并樹最大的問題就是合并操作產(chǎn)生的磁盤I/O開銷,極大地影響了寫性能,嚴重情況下寫速度取決于合并速度。本文的研究目的就是解決日志結(jié)構(gòu)合并樹的寫放大問題,提高合并效率,從而提升日志結(jié)構(gòu)合并樹的寫入性能。與傳統(tǒng)的日志結(jié)構(gòu)合并樹實現(xiàn)相比,本文通過增加一層索引層,并采用鍵值分開存儲的方式。鍵的后面緊跟著的不再是值,而是指向值所在的地址,稱其為值索引,以此避免值參與合并壓縮操作,從而減少合并帶來的磁盤I/O開銷,提升合并速度。鍵值分開存儲在犧牲一定讀性能的前提下,大大減少了合并操作引起的磁盤I/O開銷,極大地提高了寫性能。本文基于日志結(jié)構(gòu)合并樹,采取了鍵值分離的存儲方式,增加了索引層以及獨特的舊數(shù)據(jù)回收算法,設計與實現(xiàn)了一個鍵值存儲系統(tǒng)。并與基于傳統(tǒng)的日志結(jié)構(gòu)合并樹的存儲系統(tǒng)Leveldb進行讀寫性能對比,實驗結(jié)果表明了本系統(tǒng)具有更好的寫性能,特別是在值字節(jié)數(shù)較多以及寫壓力大的場景下,性能優(yōu)勢更加明顯。
【圖文】：

.2 第零層磁盤索引表文件測試因為磁盤索引表模塊的第零層文件比較特殊，文件間鍵范圍沖突，為測試件讀寫是否正常，首先插入兩條鍵值對<foo，v1>和<zoo，z1>，接著強制存索引表的內(nèi)容寫入磁盤索引表模塊的第零層文件；再插入鍵值對<foo，強制刷入第零層文件，此時第零層有兩個文件，均包含有關 foo 的鍵值對用讀接口查詢 foo 對應的值，用測試框架判斷是否為最新值 v2。.3 故障恢復測試為模擬故障恢復，先向系統(tǒng)插入鍵值對<foo，v1>，以及鍵值對<bar，v2>兩條鍵值記錄的索引記錄均在內(nèi)存索引表中，隨后關閉數(shù)據(jù)庫并重新打開通過數(shù)據(jù)日志文件的日志重新生成兩條鍵值記錄的索引記錄，調(diào)用讀接取 foo 對應的值，用測試框架判斷是否為最新值 v2。除了上述功能測試外，測試模塊還有其他上百個功能測試用例，，因篇幅有不再詳細介紹，測試結(jié)果如圖 5-1 所示。

第五章 測試與分析試系統(tǒng)對大值（值字節(jié)數(shù)較多）隨機寫入的性能，將每個寫入的鍵值為 100000 個字節(jié)，隨機寫入若干條這樣的鍵值記錄，并根據(jù)總時間計機寫一條大值記錄所花費的時間。 測試結(jié)果與分析試方案提到性能測試共分為五組，每組測試的數(shù)據(jù)規(guī)模不一樣，下面系統(tǒng)在不同數(shù)據(jù)規(guī)模下的測試結(jié)果。
【學位授予單位】：電子科技大學
【學位級別】：碩士
【學位授予年份】：2019
【分類號】：TP333;TP311.13

【參考文獻】

相關期刊論文 前5條

1 梁國棟;;解密內(nèi)存屏障[J];程序員;2014年06期

2 何劍;;大小端存儲模式對編程的影響及對策[J];揚州職業(yè)大學學報;2009年02期

3 任園園;劉建平;;CRC-32的算法研究與程序?qū)崿F(xiàn)[J];中國新技術新產(chǎn)品;2008年18期

4 袁培森;皮德常;;用于內(nèi)存數(shù)據(jù)庫的Hash索引的設計與實現(xiàn)[J];計算機工程;2007年18期

5 陽慧;LRU算法的研究及實現(xiàn)[J];計算機時代;2004年02期

相關碩士學位論文 前2條

1 張月明;基于LSM-tree鍵值系統(tǒng)讀性能優(yōu)化[D];中國科學技術大學;2018年

2 余斌;海量非結(jié)構(gòu)化數(shù)據(jù)分布式分析與檢索[D];浙江大學;2012年

本文編號：2688778