【摘要】：隨著互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展,越來越多的非結(jié)構(gòu)化數(shù)據(jù)涌入到人們的生活中,為這些數(shù)據(jù)建立高效的索引面臨極大的挑戰(zhàn).鍵值數(shù)據(jù)庫Key-Value以其結(jié)構(gòu)簡(jiǎn)單和高擴(kuò)展性而引起人們的廣泛關(guān)注,已成為海量數(shù)據(jù)存儲(chǔ)系統(tǒng)中的重要組成部分.由于Key-Value系統(tǒng)對(duì)吞吐量要求較高,而基于Flash的固態(tài)硬盤(solid state drive,SSD)能夠提供很高的隨機(jī)讀性能,在SSD上構(gòu)建Key-Value系統(tǒng)已成為海量數(shù)據(jù)存儲(chǔ)領(lǐng)域的一大研究熱點(diǎn).鑒于Flash具有非定點(diǎn)更新、壽命有限等特性,基于SSD的KeyValue系統(tǒng)必須針對(duì)Flash的特性作專門優(yōu)化.以一種稱為SkimpyStash的基于SSD的Key-Value系統(tǒng)為基礎(chǔ),提出了一種新的Key-Value系統(tǒng)低延遲存儲(chǔ)系統(tǒng)(low latency store,LLStore).LLStore使用內(nèi)存文件映射技術(shù)來減少針對(duì)SSD的IO請(qǐng)求,除此之外,針對(duì)SkimpyStash中低效的壓縮策略,提出一種改進(jìn)方法,可以在少量增加內(nèi)存開銷的情況下極大地減少查詢時(shí)間.通過與原系統(tǒng)的性能比較實(shí)驗(yàn),LLStore在平均查詢時(shí)間上可以獲得至少12%的加速.
[Abstract]:With the rapid development of Internet technology, more and more unstructured data are coming into people's lives. It is a great challenge to build an efficient index for these data. Key and value database (Key-Value) has become an important part of mass data storage system because of its simple structure and high scalability. Because Key-Value system requires high throughput, and solid state hard disk (solid state drive,SSD) based on Flash can provide high random read performance, constructing Key-Value system on SSD has become a research hotspot in the field of mass data storage. In view of the non-fixed update and limited life of Flash, the KeyValue system based on SSD must be specially optimized for the characteristics of Flash. Based on a Key-Value system based on SSD called SkimpyStash, this paper proposes a new low latency Key-Value storage system, (low latency store,LLStore). LLStore, which uses memory file mapping technology to reduce IO requests for SSD. Aiming at the inefficient compression strategy in SkimpyStash, an improved method is proposed, which can greatly reduce the query time with a small increase in memory overhead. By comparing the performance of LLStore with that of the original system, the average query time of LLStore can be accelerated by at least 12%.
【作者單位】： 高性能計(jì)算國家重點(diǎn)實(shí)驗(yàn)室(國防科學(xué)技術(shù)大學(xué));國防科學(xué)技術(shù)大學(xué)計(jì)算機(jī)學(xué)院;
【基金】：國家“八六三”高技術(shù)研究發(fā)展計(jì)劃基金項(xiàng)目(2012AA012402)
【分類號(hào)】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前1條

1 肖紅玉;陳海;黃靜;;Key-Value數(shù)據(jù)庫的研究與應(yīng)用[J];自動(dòng)化與儀器儀表;2010年04期

【共引文獻(xiàn)】

相關(guān)期刊論文 前1條

1 張錫娜;張治中;鄧炳光;;移動(dòng)通信基站天線參數(shù)管理系統(tǒng)數(shù)據(jù)庫設(shè)計(jì)[J];數(shù)字通信;2014年06期

相關(guān)碩士學(xué)位論文 前7條

1 元張毅;高速數(shù)據(jù)網(wǎng)絡(luò)中實(shí)時(shí)流量監(jiān)測(cè)相關(guān)技術(shù)研究[D];北京郵電大學(xué);2011年

2 單哲;網(wǎng)站流量統(tǒng)計(jì)分析技術(shù)研究[D];哈爾濱工程大學(xué);2012年

3 張琳琳;高校數(shù)據(jù)中心的實(shí)現(xiàn)[D];濟(jì)南大學(xué);2012年

4 鐘強(qiáng);基于鍵值存儲(chǔ)的RTB廣告買方平臺(tái)的研究與設(shè)計(jì)[D];華中師范大學(xué);2013年

5 張景云;基于Redis的矢量數(shù)據(jù)組織研究[D];南京師范大學(xué);2013年

6 潘洪志;高性能NOSQL存儲(chǔ)系統(tǒng)的研究與實(shí)現(xiàn)[D];吉林大學(xué);2014年

7 古麗米熱·艾爾肯;基于web服務(wù)的維吾爾文校對(duì)軟件設(shè)計(jì)與實(shí)現(xiàn)[D];新疆大學(xué);2014年

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前2條

1 洪源,王秀美,李燦華,陳友鳳,馬小珩;面向?qū)ο髷?shù)據(jù)庫的邏輯設(shè)計(jì)方法[J];北京科技大學(xué)學(xué)報(bào);2001年04期

2 孟小峰,周龍?bào)J,王珊;數(shù)據(jù)庫技術(shù)發(fā)展趨勢(shì)[J];軟件學(xué)報(bào);2004年12期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 姚書懷,劉興偉;大型數(shù)據(jù)中心海量數(shù)據(jù)存儲(chǔ)解決方案的設(shè)計(jì)[J];四川工業(yè)學(xué)院學(xué)報(bào);2004年S1期

2 邵志舉;;海量數(shù)據(jù)高效存儲(chǔ)與管理研究 一種高效海量數(shù)據(jù)存儲(chǔ)、管理與實(shí)時(shí)發(fā)布方案[J];職業(yè)圈.現(xiàn)代軟科學(xué);2006年02期

3 邵志舉;;海量數(shù)據(jù)高效存儲(chǔ)與管理研究 一種高效海量數(shù)據(jù)存儲(chǔ)、管理與實(shí)時(shí)發(fā)布方案[J];職業(yè)圈.現(xiàn)代軟科學(xué);2006年03期

4 白立新;王雷;;海量數(shù)據(jù)存儲(chǔ)的解決方法[J];數(shù)字與縮微影像;2007年02期

5 郭艷霞;顏軍;;海量數(shù)據(jù)存儲(chǔ)模式的研究[J];計(jì)算機(jī)與數(shù)字工程;2008年11期

6 段紅英;;淺談海量數(shù)據(jù)存儲(chǔ)中的幾個(gè)問題[J];甘肅科技縱橫;2009年01期

7 杜海寧;;基于云計(jì)算的圖書館海量數(shù)據(jù)存儲(chǔ)研究[J];圖書與情報(bào);2010年03期

8 李克然;劉東蘇;鄧媛;;電子商務(wù)環(huán)境下海量數(shù)據(jù)存儲(chǔ)模型[J];情報(bào)雜志;2010年S2期

9 侯建;帥仁俊;侯文;;基于云計(jì)算的海量數(shù)據(jù)存儲(chǔ)模型[J];通信技術(shù);2011年05期

10 張德山;李海浩;;海量數(shù)據(jù)存儲(chǔ)管理方法的研究[J];信息化研究;2011年04期

相關(guān)會(huì)議論文 前2條

1 王海濤;石晶;周立柱;;基于多級(jí)存儲(chǔ)的海量數(shù)據(jù)存儲(chǔ)系統(tǒng)[A];第十七屆全國數(shù)據(jù)庫學(xué)術(shù)會(huì)議論文集（研究報(bào)告篇）[C];2000年

2 盧朝霞;習(xí)捷;王劍;;基于數(shù)據(jù)庫分區(qū)的海量數(shù)據(jù)存儲(chǔ)技術(shù)的研究[A];2006中國控制與決策學(xué)術(shù)年會(huì)論文集[C];2006年

相關(guān)重要報(bào)紙文章 前8條

1 本報(bào)記者;多方尋求合作 推動(dòng)云力量聚黑河[N];黑河日?qǐng)?bào);2014年

2 ;存儲(chǔ)軟件市場(chǎng)首現(xiàn)國產(chǎn)身影[N];網(wǎng)絡(luò)世界;2006年

3 本報(bào)記者 劉慧;大數(shù)據(jù)應(yīng)用市場(chǎng)可達(dá)百億元規(guī)模[N];中國經(jīng)濟(jì)時(shí)報(bào);2014年

4 記者 李杏;甩掉“差不多先生”的文化標(biāo)簽[N];長(zhǎng)江日?qǐng)?bào);2013年

5 曹云萍;眾多上市公司欲分羹[N];人民郵電;2014年

6 本報(bào)記者 周源;多數(shù)企業(yè)謹(jǐn)慎對(duì)待云存儲(chǔ)[N];網(wǎng)絡(luò)世界;2010年

7 廖軍;大數(shù)據(jù)時(shí)代的有色大數(shù)據(jù)[N];中國有色金屬報(bào);2014年

8 本報(bào)記者 陳靜;大數(shù)據(jù)“潤(rùn)物無聲”大產(chǎn)業(yè)[N];經(jīng)濟(jì)日?qǐng)?bào);2013年

相關(guān)博士學(xué)位論文 前2條

1 蔣海波;海量數(shù)據(jù)存儲(chǔ)系統(tǒng)的高可靠性關(guān)鍵技術(shù)研究與應(yīng)用[D];電子科技大學(xué);2013年

2 劉應(yīng)波;太陽望遠(yuǎn)鏡海量數(shù)據(jù)存儲(chǔ)關(guān)鍵技術(shù)研究[D];中國科學(xué)院研究生院（云南天文臺(tái)）;2014年

相關(guān)碩士學(xué)位論文 前10條

1 張喜;海量數(shù)據(jù)存儲(chǔ)模式的研究[D];廣東工業(yè)大學(xué);2012年

2 唐亦鵬;海量數(shù)據(jù)存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2014年

3 婁希安;海量數(shù)據(jù)存儲(chǔ)與查詢策略的優(yōu)化研究[D];大連海事大學(xué);2012年

4 田愛雪;基于海量數(shù)據(jù)存儲(chǔ)的性能測(cè)試與優(yōu)化研究[D];長(zhǎng)春理工大學(xué);2014年

5 胡學(xué)慶;集群環(huán)境下海量數(shù)據(jù)存儲(chǔ)管理技術(shù)的研究[D];東北石油大學(xué);2010年

6 陳殿偉;基于Hadoop的虛擬篩選海量數(shù)據(jù)存儲(chǔ)及結(jié)果處理的設(shè)計(jì)和實(shí)現(xiàn)[D];蘭州大學(xué);2012年

7 陳劍銳;基于Hadoop海量數(shù)據(jù)存儲(chǔ)仿真平臺(tái)的研究與設(shè)計(jì)[D];華南理工大學(xué);2011年

8 馬文杰;基于CAP理論的海量數(shù)據(jù)存儲(chǔ)研究與應(yīng)用[D];蘇州大學(xué);2013年

9 苗帥;海量數(shù)據(jù)存儲(chǔ)與全文檢索[D];江蘇科技大學(xué);2011年

10 李培軍;電網(wǎng)業(yè)務(wù)中海量數(shù)據(jù)存儲(chǔ)系統(tǒng)的研究與設(shè)計(jì)[D];中國科學(xué)院研究生院（沈陽計(jì)算技術(shù)研究所）;2014年

，

本文編號(hào)：2424835