發(fā)布時(shí)間：2017-10-29 10:23

  本文關(guān)鍵詞：基于Redis實(shí)現(xiàn)HBase二級(jí)索引的方法

  更多相關(guān)文章： 大數(shù)據(jù) HBase 二級(jí)索引 rowkey Redis

【摘要】：隨著大數(shù)據(jù)時(shí)代的到來(lái),海量數(shù)據(jù)對(duì)傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù)提出了存儲(chǔ)和檢索性能的挑戰(zhàn)。HBase是開(kāi)源No SQL數(shù)據(jù)庫(kù),適合于各種非結(jié)構(gòu)化和半結(jié)構(gòu)化的松散數(shù)據(jù)的存儲(chǔ)和管理,目前已經(jīng)被很多大型企業(yè)用于處理海量數(shù)據(jù)。它基于rowkey的有序存儲(chǔ),對(duì)rowkey支持毫秒級(jí)的快速檢索。然而,隨著HBase應(yīng)用的不斷深入,單一的通過(guò)rowkey檢索數(shù)據(jù)的方式不再滿足需求,在實(shí)際應(yīng)用中,經(jīng)常需要根據(jù)指定字段,或者幾個(gè)字段進(jìn)行組合檢索。針對(duì)該問(wèn)題,本文提出了一種基于Redis創(chuàng)建HBase二級(jí)索引的方法,使得在實(shí)際應(yīng)用中,支持多條件查詢,提升查詢的效率和性能。
【作者單位】： 北京郵電大學(xué)網(wǎng)絡(luò)技術(shù)研究院;上海欣方智能系統(tǒng)有限公司北京分公司;
【關(guān)鍵詞】： 大數(shù)據(jù) HBase 二級(jí)索引 rowkey Redis
【分類號(hào)】：TP311.13
【正文快照】： 0引言隨著信息技術(shù)的發(fā)展,網(wǎng)絡(luò)己經(jīng)成為人們交流、娛樂(lè)等活動(dòng)的主要工具,互聯(lián)網(wǎng)的內(nèi)容越來(lái)越豐富,數(shù)據(jù)規(guī)模也愈加龐大[1]。一些國(guó)內(nèi)外著名的社交網(wǎng)站Facebook、Twitter、Linked In,搜索網(wǎng)站Coogle、Yahoo、Baidu、Sougo,購(gòu)物網(wǎng)站Amazon、Taobao等大型網(wǎng)站,它們的用戶規(guī)模龐大,

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 ;本期廣告商索引表[J];電子與電腦;2000年01期

2 ;本期編輯內(nèi)容產(chǎn)品索引表[J];電子與電腦;2000年02期

3 ;本期廣告商索引表[J];電子與電腦;2000年02期

4 ;本期編輯內(nèi)容產(chǎn)品索引表[J];電子與電腦;2000年04期

5 ;本期廣告商索引表[J];電子與電腦;2000年04期

6 ;本期編輯內(nèi)容產(chǎn)品索引表[J];電子與電腦;2000年11期

7 ;本期廣告商索引表[J];電子與電腦;2000年11期

8 ;本期編輯內(nèi)容產(chǎn)品索引表[J];電子與電腦;1999年05期

9 ;本期編輯內(nèi)容產(chǎn)品索引表[J];電子與電腦;1999年08期

10 ;本期編輯內(nèi)容產(chǎn)品索引表[J];電子與電腦;1999年09期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前8條

1 石瑋峰;楊冬青;唐世渭;關(guān)濤;;COBASE的索引管理技術(shù)[A];第十二屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集[C];1994年

2 王彥祥;王廣林;;“索引之星”的研制和索引編制[A];2004年辭書與數(shù)字化研討會(huì)論文集[C];2004年

3 王曉輝;王柏;;通過(guò)有效使用索引優(yōu)化Oracle應(yīng)用系統(tǒng)性能[A];第九屆全國(guó)青年通信學(xué)術(shù)會(huì)議論文集[C];2004年

4 孫云峰;陳渝;史元春;張寶鵬;張曦;江文峰;;基于高精度室內(nèi)定位系統(tǒng)的移動(dòng)物體軌跡索引[A];第二屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議(HHME2006)——第2屆中國(guó)普適計(jì)算學(xué)術(shù)會(huì)議(PCC'06)論文集[C];2006年

5 王先勝;喬健;汪衛(wèi);何震瀛;;AX-Tree:基于RDBMS的粒度自適應(yīng)XML數(shù)據(jù)索引[A];第二十五屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（一）[C];2008年

6 邵雄凱;盧炎生;程學(xué)先;;用建立本地廣播索引表的方法改善移動(dòng)客戶機(jī)的性能[A];第二十屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2003年

7 薛巍;李維佳;穆飛;舒繼武;;PDPI：一種面向多核的可擴(kuò)展并行索引算法[A];全國(guó)網(wǎng)絡(luò)與信息安全技術(shù)研討會(huì)論文集（下冊(cè)）[C];2007年

8 王鵬飛;洪曉光;;基于XML大文檔的動(dòng)態(tài)索引[A];第二十一屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2004年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前3條

1 張帆;搜索引擎中索引表求交和提前停止技術(shù)優(yōu)化研究[D];南開(kāi)大學(xué);2012年

2 陳旭毅;基于索引云的企業(yè)搜索引擎實(shí)現(xiàn)研究[D];武漢大學(xué);2011年

3 余利華;分布式數(shù)據(jù)存儲(chǔ)和處理的若干技術(shù)研究[D];浙江大學(xué);2008年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 周文輝;基于HBase和內(nèi)存數(shù)據(jù)庫(kù)的索引和查詢技術(shù)研究與系統(tǒng)實(shí)現(xiàn)[D];南京大學(xué);2014年

2 付佳;基于LSM樹的NoSQL數(shù)據(jù)庫(kù)索引研究[D];北京理工大學(xué);2016年

3 王健;DWMS中索引選擇策略的研究與實(shí)現(xiàn)[D];東華大學(xué);2010年

4 胡玉樂(lè);列存儲(chǔ)DWMS中的索引關(guān)鍵技術(shù)研究[D];東華大學(xué);2011年

5 張慧;一種基于位立方體的XML索引方式[D];山東大學(xué);2007年

6 王學(xué);面向SaaS應(yīng)用交付平臺(tái)的多租戶數(shù)據(jù)索引研究[D];山東大學(xué);2012年

7 石有滴;XML索引關(guān)鍵技術(shù)研究[D];華南理工大學(xué);2011年

8 陳堅(jiān)強(qiáng);DB2數(shù)據(jù)庫(kù)索引性能調(diào)整與優(yōu)化[D];上海交通大學(xué);2011年

9 葛付江;面向動(dòng)態(tài)文檔集的大規(guī)模文本索引構(gòu)建技術(shù)的研究[D];哈爾濱工業(yè)大學(xué);2008年

10 劉亦韜;基于壓縮全文自索引的分布式索引技術(shù)研究[D];杭州電子科技大學(xué);2015年

，

本文編號(hào)：1112589