本文關(guān)鍵詞：一種基于裸閃存的Key-Value數(shù)據(jù)庫(kù)優(yōu)化方法　出處：《計(jì)算機(jī)研究與發(fā)展》2017年06期 　論文類(lèi)型：期刊論文

  更多相關(guān)文章： key-value數(shù)據(jù)庫(kù) 閃存 裸設(shè)備 數(shù)據(jù)存儲(chǔ) 使用壽命

【摘要】：近年來(lái),非關(guān)系型的key-value數(shù)據(jù)庫(kù)得到越來(lái)越廣泛的應(yīng)用.然而,目前主流的key-value數(shù)據(jù)庫(kù)或者是基于磁盤(pán)設(shè)計(jì)的,或者是傳統(tǒng)的基于文件系統(tǒng)和閃存轉(zhuǎn)換層FTL來(lái)構(gòu)建的,難以發(fā)揮閃存存儲(chǔ)設(shè)備的特性,限制了I/O的并發(fā)性能,且垃圾回收過(guò)程復(fù)雜.設(shè)計(jì)并實(shí)現(xiàn)了一種基于裸閃存的keyvalue數(shù)據(jù)管理架構(gòu)Flashkv,通過(guò)用戶態(tài)下的管理單元進(jìn)行空間管理和垃圾回收,充分利用了閃存設(shè)備內(nèi)部的并發(fā)特性,并簡(jiǎn)化了垃圾回收過(guò)程,去除了傳統(tǒng)文件系統(tǒng)和FTL中的冗余功能,縮短了I/O路徑.提出了基于閃存特點(diǎn)的I/O調(diào)度技術(shù),優(yōu)化了閃存的讀寫(xiě)延遲,提高了吞吐率;提出了用戶態(tài)緩存管理技術(shù),降低了數(shù)據(jù)寫(xiě)入量和頻繁系統(tǒng)調(diào)用所帶來(lái)的開(kāi)銷(xiāo).測(cè)試結(jié)果表明,Flashkv性能是levelDB的1.9~2.2倍,寫(xiě)入量減少60%~65%.
[Abstract]:In recent years, non-relational key-value database has been more and more widely used. However, the mainstream key-value database is based on disk design. Or the traditional FTL based on file system and flash memory conversion layer, it is difficult to play the characteristics of flash storage device, which limits the concurrent performance of I / O. And the garbage collection process is complex. This paper designs and implements a keyvalue data management architecture based on bare flash memory, Flashkv. it manages the space and garbage collection through the management unit in the user state. It makes full use of the concurrency characteristics of flash memory devices, simplifies the garbage collection process, and removes the redundant functions in traditional file systems and FTL. The I / O path is shortened. I / O scheduling technology based on flash memory is proposed to optimize the read / write delay of flash memory and improve the throughput. The user state cache management technology is proposed to reduce the overhead caused by data writing and frequent system calls. The test results show that the performance of Flashkv is 1.9 or 2.2 times higher than that of levelDB. The amount of writing is reduced by 60 and 65.
【作者單位】： 清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系;
【基金】：國(guó)家自然科學(xué)基金項(xiàng)目(61327902,61433008) 北京市科委課題(D151100000815003)~~
【分類(lèi)號(hào)】：TP311.13;TP333
【正文快照】： This work was supported by the National Natural Science Foundation of China(61327902,61433008)and Beijing MunicipalScience and Technology Commission of China(D151100000815003).(qinxiongjun2010@163.com)基于鍵值對(duì)(key-value)的key-value數(shù)據(jù)庫(kù)是一種非關(guān)系型

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 程振東;欒鐘治;孟由;李亮淑;和榮;楊婷婷;錢(qián)德沛;管剛;陳偉;;云文件系統(tǒng)中糾刪碼技術(shù)的研究與實(shí)現(xiàn)[J];計(jì)算機(jī)科學(xué)與探索;2013年04期

2 李舜莉,阮玉;迅速發(fā)展的大規(guī)模光盤(pán)文件系統(tǒng)[J];激光雜志;1988年05期

3 王江;;一種可靠高效的閃存文件系統(tǒng)[J];單片機(jī)與嵌入式系統(tǒng)應(yīng)用;2013年12期

4 魯智深;;Kingmax microSDHC 4GB存儲(chǔ)卡評(píng)測(cè)[J];大眾數(shù)碼;2007年06期

5 鐘忻,慕春棣;基于閃存的文件系統(tǒng)的實(shí)現(xiàn)[J];計(jì)算機(jī)工程與應(yīng)用;2003年24期

6 劉明;張軍平;;并行文件系統(tǒng)的應(yīng)用探討[J];軟件;2010年11期

7 張?jiān)谫F;張立強(qiáng);李瑞東;文中領(lǐng);張海濤;;一種適用于集群文件系統(tǒng)分級(jí)存儲(chǔ)的分布式鎖設(shè)計(jì)與分析[J];計(jì)算機(jī)研究與發(fā)展;2012年S1期

8 周恩強(qiáng);董勇;張偉;盧宇彤;;對(duì)象存儲(chǔ)并行文件系統(tǒng)小文件性能優(yōu)化研究[J];計(jì)算機(jī)工程與科學(xué);2013年12期

9 陳禹;;用戶心中的誤區(qū)[J];中國(guó)計(jì)算機(jī)用戶;2007年10期

10 萌萌;;老命令新用 讓閃存支持單個(gè)大容量文件[J];電腦迷;2010年03期

相關(guān)會(huì)議論文 前3條

1 王永瑞;熊劍平;;基于CF卡的特定FAT文件系統(tǒng)的軟硬件設(shè)計(jì)與實(shí)現(xiàn)[A];2008中國(guó)儀器儀表與測(cè)控技術(shù)進(jìn)展大會(huì)論文集（Ⅲ）[C];2008年

2 王雪嬌;錢(qián)軍;溫東新;張展;崔忠強(qiáng);;基于Linux虛擬文件系統(tǒng)故障注入器的設(shè)計(jì)與實(shí)現(xiàn)[A];第六屆中國(guó)測(cè)試學(xué)術(shù)會(huì)議論文集[C];2010年

3 錢(qián)迎進(jìn);金士堯;肖儂;;大規(guī)模集群文件系統(tǒng)中的I/O擁塞控制機(jī)制[A];2010年第16屆全國(guó)信息存儲(chǔ)技術(shù)大會(huì)（IST2010）論文集[C];2010年

相關(guān)重要報(bào)紙文章 前10條

1 李檸 許冰;Linux的“心”事[N];中國(guó)計(jì)算機(jī)報(bào);2000年

2 河北 廉育功;Linux技巧[N];中國(guó)電腦教育報(bào);2001年

3 陽(yáng)光;一臺(tái)PC機(jī)上安裝Win98、NT、Linux[N];中國(guó)礦業(yè)報(bào);2000年

4 小雨;FAT享年25歲——觸摸未來(lái)文件系統(tǒng)[N];電腦報(bào);2003年

5 北京捷華潤(rùn)公司 郝常杰;對(duì)象存儲(chǔ)：塊和文件之外的存儲(chǔ)形式[N];中國(guó)計(jì)算機(jī)報(bào);2006年

6 門(mén)宣;走進(jìn)Linux2.4的精彩世界[N];中國(guó)計(jì)算機(jī)報(bào);2001年

7 ;驅(qū)動(dòng)器與DOS兼容文件系統(tǒng)[N];電腦報(bào);2002年

8 任勇;在Linux中訪問(wèn)DOS的方法[N];大眾科技報(bào);2000年

9 ;Veritas展示用于Oracle9i RAC的群集系統(tǒng)[N];計(jì)算機(jī)世界;2003年

10 趙宇明;建設(shè)完美的存儲(chǔ)世界[N];網(wǎng)絡(luò)世界;2008年

相關(guān)博士學(xué)位論文 前3條

1 陳杰;本地文件系統(tǒng)數(shù)據(jù)更新模式研究[D];華中科技大學(xué);2014年

2 孫凝暉;可擴(kuò)展I/O的研究和參考實(shí)現(xiàn)[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;1999年

3 錢(qián)迎進(jìn);大規(guī)模Lustre集群文件系統(tǒng)關(guān)鍵技術(shù)的研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2011年

相關(guān)碩士學(xué)位論文 前10條

1 劉佩;基于糾刪碼技術(shù)的HD_EC文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];曲阜師范大學(xué);2015年

2 丘文未;基于軟硬件協(xié)同設(shè)計(jì)的閃存存儲(chǔ)系統(tǒng)關(guān)鍵技術(shù)研究與實(shí)現(xiàn)[D];國(guó)防科學(xué)技術(shù)大學(xué);2013年

3 賴尚校;基于ARM的嵌入式閃存驅(qū)動(dòng)與UBIFS文件系統(tǒng)的分析與實(shí)現(xiàn)[D];浙江工業(yè)大學(xué);2014年

4 劉劍;用FPGA實(shí)現(xiàn)文件系統(tǒng)及其應(yīng)用[D];太原理工大學(xué);2013年

5 馮子陵;閃存文件系統(tǒng)UBIFS的分析與優(yōu)化[D];南京大學(xué);2013年

6 何耀;面向大容量SCM的融合式文件系統(tǒng)[D];江蘇大學(xué);2016年

7 房s，

本文編號(hào)：1394474