本文關(guān)鍵詞：基于Redis實現(xiàn)HBase二級索引的方法

  更多相關(guān)文章： 大數(shù)據(jù) HBase 二級索引 rowkey Redis

【摘要】：隨著大數(shù)據(jù)時代的到來,海量數(shù)據(jù)對傳統(tǒng)數(shù)據(jù)庫技術(shù)提出了存儲和檢索性能的挑戰(zhàn)。HBase是開源No SQL數(shù)據(jù)庫,適合于各種非結(jié)構(gòu)化和半結(jié)構(gòu)化的松散數(shù)據(jù)的存儲和管理,目前已經(jīng)被很多大型企業(yè)用于處理海量數(shù)據(jù)。它基于rowkey的有序存儲,對rowkey支持毫秒級的快速檢索。然而,隨著HBase應(yīng)用的不斷深入,單一的通過rowkey檢索數(shù)據(jù)的方式不再滿足需求,在實際應(yīng)用中,經(jīng)常需要根據(jù)指定字段,或者幾個字段進行組合檢索。針對該問題,本文提出了一種基于Redis創(chuàng)建HBase二級索引的方法,使得在實際應(yīng)用中,支持多條件查詢,提升查詢的效率和性能。
【作者單位】： 北京郵電大學網(wǎng)絡(luò)技術(shù)研究院;上海欣方智能系統(tǒng)有限公司北京分公司;
【關(guān)鍵詞】： 大數(shù)據(jù) HBase 二級索引 rowkey Redis
【分類號】：TP311.13
【正文快照】： 0引言隨著信息技術(shù)的發(fā)展,網(wǎng)絡(luò)己經(jīng)成為人們交流、娛樂等活動的主要工具,互聯(lián)網(wǎng)的內(nèi)容越來越豐富,數(shù)據(jù)規(guī)模也愈加龐大[1]。一些國內(nèi)外著名的社交網(wǎng)站Facebook、Twitter、Linked In,搜索網(wǎng)站Coogle、Yahoo、Baidu、Sougo,購物網(wǎng)站Amazon、Taobao等大型網(wǎng)站,它們的用戶規(guī)模龐大,

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 ;本期廣告商索引表[J];電子與電腦;2000年01期

2 ;本期編輯內(nèi)容產(chǎn)品索引表[J];電子與電腦;2000年02期

3 ;本期廣告商索引表[J];電子與電腦;2000年02期

4 ;本期編輯內(nèi)容產(chǎn)品索引表[J];電子與電腦;2000年04期

5 ;本期廣告商索引表[J];電子與電腦;2000年04期

6 ;本期編輯內(nèi)容產(chǎn)品索引表[J];電子與電腦;2000年11期

7 ;本期廣告商索引表[J];電子與電腦;2000年11期

8 ;本期編輯內(nèi)容產(chǎn)品索引表[J];電子與電腦;1999年05期

9 ;本期編輯內(nèi)容產(chǎn)品索引表[J];電子與電腦;1999年08期

10 ;本期編輯內(nèi)容產(chǎn)品索引表[J];電子與電腦;1999年09期

中國重要會議論文全文數(shù)據(jù)庫 前8條

1 石瑋峰;楊冬青;唐世渭;關(guān)濤;;COBASE的索引管理技術(shù)[A];第十二屆全國數(shù)據(jù)庫學術(shù)會議論文集[C];1994年

2 王彥祥;王廣林;;“索引之星”的研制和索引編制[A];2004年辭書與數(shù)字化研討會論文集[C];2004年

3 王曉輝;王柏;;通過有效使用索引優(yōu)化Oracle應(yīng)用系統(tǒng)性能[A];第九屆全國青年通信學術(shù)會議論文集[C];2004年

4 孫云峰;陳渝;史元春;張寶鵬;張曦;江文峰;;基于高精度室內(nèi)定位系統(tǒng)的移動物體軌跡索引[A];第二屆和諧人機環(huán)境聯(lián)合學術(shù)會議(HHME2006)——第2屆中國普適計算學術(shù)會議(PCC'06)論文集[C];2006年

5 王先勝;喬健;汪衛(wèi);何震瀛;;AX-Tree:基于RDBMS的粒度自適應(yīng)XML數(shù)據(jù)索引[A];第二十五屆中國數(shù)據(jù)庫學術(shù)會議論文集（一）[C];2008年

6 邵雄凱;盧炎生;程學先;;用建立本地廣播索引表的方法改善移動客戶機的性能[A];第二十屆全國數(shù)據(jù)庫學術(shù)會議論文集（技術(shù)報告篇）[C];2003年

7 薛巍;李維佳;穆飛;舒繼武;;PDPI：一種面向多核的可擴展并行索引算法[A];全國網(wǎng)絡(luò)與信息安全技術(shù)研討會論文集（下冊）[C];2007年

8 王鵬飛;洪曉光;;基于XML大文檔的動態(tài)索引[A];第二十一屆中國數(shù)據(jù)庫學術(shù)會議論文集（技術(shù)報告篇）[C];2004年

中國博士學位論文全文數(shù)據(jù)庫 前3條

1 張帆;搜索引擎中索引表求交和提前停止技術(shù)優(yōu)化研究[D];南開大學;2012年

2 陳旭毅;基于索引云的企業(yè)搜索引擎實現(xiàn)研究[D];武漢大學;2011年

3 余利華;分布式數(shù)據(jù)存儲和處理的若干技術(shù)研究[D];浙江大學;2008年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 周文輝;基于HBase和內(nèi)存數(shù)據(jù)庫的索引和查詢技術(shù)研究與系統(tǒng)實現(xiàn)[D];南京大學;2014年

2 付佳;基于LSM樹的NoSQL數(shù)據(jù)庫索引研究[D];北京理工大學;2016年

3 王健;DWMS中索引選擇策略的研究與實現(xiàn)[D];東華大學;2010年

4 胡玉樂;列存儲DWMS中的索引關(guān)鍵技術(shù)研究[D];東華大學;2011年

5 張慧;一種基于位立方體的XML索引方式[D];山東大學;2007年

6 王學;面向SaaS應(yīng)用交付平臺的多租戶數(shù)據(jù)索引研究[D];山東大學;2012年

7 石有滴;XML索引關(guān)鍵技術(shù)研究[D];華南理工大學;2011年

8 陳堅強;DB2數(shù)據(jù)庫索引性能調(diào)整與優(yōu)化[D];上海交通大學;2011年

9 葛付江;面向動態(tài)文檔集的大規(guī)模文本索引構(gòu)建技術(shù)的研究[D];哈爾濱工業(yè)大學;2008年

10 劉亦韜;基于壓縮全文自索引的分布式索引技術(shù)研究[D];杭州電子科技大學;2015年

，

本文編號：1112589