本文關(guān)鍵詞：基于hadoop和hbase的分布式索引集群研究

  更多相關(guān)文章： 分布式索引 Hadoop 倒排索引 分詞 Hbase

【摘要】：隨著互聯(lián)網(wǎng)的發(fā)展,搜索引擎要處理的數(shù)據(jù)量越來越大,為提高信息檢索效率,避免傳統(tǒng)索引的創(chuàng)建和維護效率不高的情況,設(shè)計了一種基于Hadoop分布式索引集群和Hbase分布式查詢數(shù)據(jù)庫的解決方案。利用Hadoop的分布式計算和存儲框架,采用分布式倒排索引算法,分詞并建立索引表,最后存儲到Hbase中。通過實驗證明了基于Hadoop的分布式索引集群在數(shù)據(jù)處理方面的優(yōu)勢。
【作者單位】： 武漢理工大學計算機學院;
【關(guān)鍵詞】： 分布式索引 Hadoop 倒排索引 分詞 Hbase
【分類號】：TP391.3;TP311.13
【正文快照】： WAN Yi XIANG Guang-li*武漢理工大學計算機學院湖北武漢430070由于通信技術(shù)和移動互聯(lián)網(wǎng)的發(fā)展,互聯(lián)網(wǎng)用戶不斷增強,在互聯(lián)網(wǎng)中查找到自己真正需要的信息變得越來越困難。為了解決人們在使用互聯(lián)網(wǎng)中查找信息的困難,搜索引擎系統(tǒng)應(yīng)運而生。Google在這方面的研究處于領(lǐng)先地位,

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 ;本期廣告商索引表[J];電子與電腦;2000年01期

2 ;本期編輯內(nèi)容產(chǎn)品索引表[J];電子與電腦;2000年02期

3 ;本期廣告商索引表[J];電子與電腦;2000年02期

4 ;本期編輯內(nèi)容產(chǎn)品索引表[J];電子與電腦;2000年04期

5 ;本期廣告商索引表[J];電子與電腦;2000年04期

6 ;本期編輯內(nèi)容產(chǎn)品索引表[J];電子與電腦;2000年11期

7 ;本期廣告商索引表[J];電子與電腦;2000年11期

8 ;本期編輯內(nèi)容產(chǎn)品索引表[J];電子與電腦;1999年05期

9 ;本期編輯內(nèi)容產(chǎn)品索引表[J];電子與電腦;1999年08期

10 ;本期編輯內(nèi)容產(chǎn)品索引表[J];電子與電腦;1999年09期

中國重要會議論文全文數(shù)據(jù)庫 前9條

1 石瑋峰;楊冬青;唐世渭;關(guān)濤;;COBASE的索引管理技術(shù)[A];第十二屆全國數(shù)據(jù)庫學術(shù)會議論文集[C];1994年

2 王彥祥;王廣林;;“索引之星”的研制和索引編制[A];2004年辭書與數(shù)字化研討會論文集[C];2004年

3 王曉輝;王柏;;通過有效使用索引優(yōu)化Oracle應(yīng)用系統(tǒng)性能[A];第九屆全國青年通信學術(shù)會議論文集[C];2004年

4 孫云峰;陳渝;史元春;張寶鵬;張曦;江文峰;;基于高精度室內(nèi)定位系統(tǒng)的移動物體軌跡索引[A];第二屆和諧人機環(huán)境聯(lián)合學術(shù)會議(HHME2006)——第2屆中國普適計算學術(shù)會議(PCC'06)論文集[C];2006年

5 王先勝;喬健;汪衛(wèi);何震瀛;;AX-Tree:基于RDBMS的粒度自適應(yīng)XML數(shù)據(jù)索引[A];第二十五屆中國數(shù)據(jù)庫學術(shù)會議論文集（一）[C];2008年

6 邵雄凱;盧炎生;程學先;;用建立本地廣播索引表的方法改善移動客戶機的性能[A];第二十屆全國數(shù)據(jù)庫學術(shù)會議論文集（技術(shù)報告篇）[C];2003年

7 薛巍;李維佳;穆飛;舒繼武;;PDPI：一種面向多核的可擴展并行索引算法[A];全國網(wǎng)絡(luò)與信息安全技術(shù)研討會論文集（下冊）[C];2007年

8 王鵬飛;洪曉光;;基于XML大文檔的動態(tài)索引[A];第二十一屆中國數(shù)據(jù)庫學術(shù)會議論文集（技術(shù)報告篇）[C];2004年

9 彭軻;廖聞劍;;淺析搜索引擎[A];中國通信學會第五屆學術(shù)年會論文集[C];2008年

中國博士學位論文全文數(shù)據(jù)庫 前3條

1 張帆;搜索引擎中索引表求交和提前停止技術(shù)優(yōu)化研究[D];南開大學;2012年

2 陳旭毅;基于索引云的企業(yè)搜索引擎實現(xiàn)研究[D];武漢大學;2011年

3 余利華;分布式數(shù)據(jù)存儲和處理的若干技術(shù)研究[D];浙江大學;2008年

中國碩士學位論文全文數(shù)據(jù)庫 前10條

1 王健;DWMS中索引選擇策略的研究與實現(xiàn)[D];東華大學;2010年

2 胡玉樂;列存儲DWMS中的索引關(guān)鍵技術(shù)研究[D];東華大學;2011年

3 張慧;一種基于位立方體的XML索引方式[D];山東大學;2007年

4 王學;面向SaaS應(yīng)用交付平臺的多租戶數(shù)據(jù)索引研究[D];山東大學;2012年

5 石有滴;XML索引關(guān)鍵技術(shù)研究[D];華南理工大學;2011年

6 張雁;面向全文檢索的在線索引關(guān)鍵技術(shù)研究[D];哈爾濱工業(yè)大學;2010年

7 陳堅強;DB2數(shù)據(jù)庫索引性能調(diào)整與優(yōu)化[D];上海交通大學;2011年

8 葛付江;面向動態(tài)文檔集的大規(guī)模文本索引構(gòu)建技術(shù)的研究[D];哈爾濱工業(yè)大學;2008年

9 肖袁;基于索引的XML查詢技術(shù)研究[D];南京師范大學;2007年

10 邱澤令;關(guān)系-XML雙引擎數(shù)據(jù)庫管理系統(tǒng)CoSQLRX中XML數(shù)據(jù)索引的研究與實現(xiàn)[D];東北大學;2010年

，

本文編號：753539