基于Open-Channel SSD特性的LSM-tree鍵值存儲研究
發(fā)布時間:2020-07-12 04:47
【摘要】:大容量固態(tài)盤(Solid State Drive,SSD)的大物理塊應用趨勢及3D NAND Flash技術發(fā)展,為數據存儲管理帶來了機遇和挑戰(zhàn)。日志結構合并樹(log-structured merge-tree,LSM-tree)鍵值(key-value,KV)存儲針對隨機寫進行優(yōu)化,提供高效的數據插入和刪除,作為持久化存儲引擎被廣泛應用在數據中心。LSM-tree KV存儲直接使用SSD塊設備,兩者本身都存在讀/寫放大。更為糟糕的是主機端和設備端管理上各自為政,系統讀/寫放大問題會進一步疊加,嚴重降低存儲系統整體性能和SSD壽命;陂_放通道SSD(Open-Channel SSD)的LSM-tree KV存儲系統為統一管理軟、硬件資源,優(yōu)化存儲系統,減少讀/寫放大問題,提供了一種解決途徑。設計實現了基于Open-Channel SSD特性的LSM-tree鍵值存儲系統(LSM-tree based key-value Store System on Open-Channel SSD Features)簡稱LOSF。LOSF利用開放通道SSD感知上層應用語義信息的特性,對KV數據進行分類聚集管理,根據KV數據粒度和訪問頻度將key和value選擇分離處理,形成由LSM-tree管理的小粒度高頻度數據區(qū)和塊管理的大粒度value數據區(qū),提高數據回收的效率,減少寫放大。對小粒度高頻數據提出子塊管理方法,采用動態(tài)預處理合并策略,降低每次合并操作的數據量,避免單次合并操作開銷過大,有效地減少了數據反復遷移,減少寫放大。對大粒度value數據利用MLC型3D NAND Flash邊界SLC型介質的復寫特性,提出復寫位圖區(qū)管理方法,減少數據回收時查詢LSM-tree的開銷,減少讀放大。LOSF利用SSD發(fā)展的新特性,優(yōu)化存儲系統,減少讀/寫放大。測試結果表明,LOSF方案與同樣是開放通道SSD的LOCS方案相比,在KV粒度較小時,讀寫放大分別優(yōu)化了30.4%和29.5%,SSD平均擦除次數減少了23.5%,存儲系統整體性能提升28.6%;在KV數據粒度較大時,性能成倍提升,優(yōu)化效果更加顯著。LOSF方案與主機端采用數據分類聚集的Wisckey-SSD方案相比,讀寫放大分別優(yōu)化了35%和45%,SSD擦除次數減少達70%左右,存儲系統整體性能提升了47%。
【學位授予單位】:華中科技大學
【學位級別】:碩士
【學位授予年份】:2018
【分類號】:TP333
本文編號:2751445
【學位授予單位】:華中科技大學
【學位級別】:碩士
【學位授予年份】:2018
【分類號】:TP333
【參考文獻】
相關期刊論文 前2條
1 綦曉穎;湯顯;梁智超;孟小峰;;OAFTL:一種面向企業(yè)級應用的高效閃存轉換層處理策略[J];計算機研究與發(fā)展;2011年10期
2 周大;梁智超;孟小峰;;HF-Tree:一種閃存數據庫的高更新性能索引結構[J];計算機研究與發(fā)展;2010年05期
相關博士學位論文 前1條
1 胡洋;高性能固態(tài)盤的多級并行性及算法研究[D];華中科技大學;2012年
本文編號:2751445
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/2751445.html