本文關(guān)鍵詞：基于hadoop和hbase的分布式索引集群研究

  更多相關(guān)文章： 分布式索引 Hadoop 倒排索引 分詞 Hbase

【摘要】：隨著互聯(lián)網(wǎng)的發(fā)展,搜索引擎要處理的數(shù)據(jù)量越來(lái)越大,為提高信息檢索效率,避免傳統(tǒng)索引的創(chuàng)建和維護(hù)效率不高的情況,設(shè)計(jì)了一種基于Hadoop分布式索引集群和Hbase分布式查詢(xún)數(shù)據(jù)庫(kù)的解決方案。利用Hadoop的分布式計(jì)算和存儲(chǔ)框架,采用分布式倒排索引算法,分詞并建立索引表,最后存儲(chǔ)到Hbase中。通過(guò)實(shí)驗(yàn)證明了基于Hadoop的分布式索引集群在數(shù)據(jù)處理方面的優(yōu)勢(shì)。
【作者單位】： 武漢理工大學(xué)計(jì)算機(jī)學(xué)院;
【關(guān)鍵詞】： 分布式索引 Hadoop 倒排索引 分詞 Hbase
【分類(lèi)號(hào)】：TP391.3;TP311.13
【正文快照】： WAN Yi XIANG Guang-li*武漢理工大學(xué)計(jì)算機(jī)學(xué)院湖北武漢430070由于通信技術(shù)和移動(dòng)互聯(lián)網(wǎng)的發(fā)展,互聯(lián)網(wǎng)用戶(hù)不斷增強(qiáng),在互聯(lián)網(wǎng)中查找到自己真正需要的信息變得越來(lái)越困難。為了解決人們?cè)谑褂没ヂ?lián)網(wǎng)中查找信息的困難,搜索引擎系統(tǒng)應(yīng)運(yùn)而生。Google在這方面的研究處于領(lǐng)先地位,

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 ;本期廣告商索引表[J];電子與電腦;2000年01期

2 ;本期編輯內(nèi)容產(chǎn)品索引表[J];電子與電腦;2000年02期

3 ;本期廣告商索引表[J];電子與電腦;2000年02期

4 ;本期編輯內(nèi)容產(chǎn)品索引表[J];電子與電腦;2000年04期

5 ;本期廣告商索引表[J];電子與電腦;2000年04期

6 ;本期編輯內(nèi)容產(chǎn)品索引表[J];電子與電腦;2000年11期

7 ;本期廣告商索引表[J];電子與電腦;2000年11期

8 ;本期編輯內(nèi)容產(chǎn)品索引表[J];電子與電腦;1999年05期

9 ;本期編輯內(nèi)容產(chǎn)品索引表[J];電子與電腦;1999年08期

10 ;本期編輯內(nèi)容產(chǎn)品索引表[J];電子與電腦;1999年09期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前9條

1 石瑋峰;楊冬青;唐世渭;關(guān)濤;;COBASE的索引管理技術(shù)[A];第十二屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集[C];1994年

2 王彥祥;王廣林;;“索引之星”的研制和索引編制[A];2004年辭書(shū)與數(shù)字化研討會(huì)論文集[C];2004年

3 王曉輝;王柏;;通過(guò)有效使用索引優(yōu)化Oracle應(yīng)用系統(tǒng)性能[A];第九屆全國(guó)青年通信學(xué)術(shù)會(huì)議論文集[C];2004年

4 孫云峰;陳渝;史元春;張寶鵬;張曦;江文峰;;基于高精度室內(nèi)定位系統(tǒng)的移動(dòng)物體軌跡索引[A];第二屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議(HHME2006)——第2屆中國(guó)普適計(jì)算學(xué)術(shù)會(huì)議(PCC'06)論文集[C];2006年

5 王先勝;喬健;汪衛(wèi);何震瀛;;AX-Tree:基于RDBMS的粒度自適應(yīng)XML數(shù)據(jù)索引[A];第二十五屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（一）[C];2008年

6 邵雄凱;盧炎生;程學(xué)先;;用建立本地廣播索引表的方法改善移動(dòng)客戶(hù)機(jī)的性能[A];第二十屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2003年

7 薛巍;李維佳;穆飛;舒繼武;;PDPI：一種面向多核的可擴(kuò)展并行索引算法[A];全國(guó)網(wǎng)絡(luò)與信息安全技術(shù)研討會(huì)論文集（下冊(cè)）[C];2007年

8 王鵬飛;洪曉光;;基于XML大文檔的動(dòng)態(tài)索引[A];第二十一屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2004年

9 彭軻;廖聞劍;;淺析搜索引擎[A];中國(guó)通信學(xué)會(huì)第五屆學(xué)術(shù)年會(huì)論文集[C];2008年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前3條

1 張帆;搜索引擎中索引表求交和提前停止技術(shù)優(yōu)化研究[D];南開(kāi)大學(xué);2012年

2 陳旭毅;基于索引云的企業(yè)搜索引擎實(shí)現(xiàn)研究[D];武漢大學(xué);2011年

3 余利華;分布式數(shù)據(jù)存儲(chǔ)和處理的若干技術(shù)研究[D];浙江大學(xué);2008年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 王健;DWMS中索引選擇策略的研究與實(shí)現(xiàn)[D];東華大學(xué);2010年

2 胡玉樂(lè);列存儲(chǔ)DWMS中的索引關(guān)鍵技術(shù)研究[D];東華大學(xué);2011年

3 張慧;一種基于位立方體的XML索引方式[D];山東大學(xué);2007年

4 王學(xué);面向SaaS應(yīng)用交付平臺(tái)的多租戶(hù)數(shù)據(jù)索引研究[D];山東大學(xué);2012年

5 石有滴;XML索引關(guān)鍵技術(shù)研究[D];華南理工大學(xué);2011年

6 張雁;面向全文檢索的在線(xiàn)索引關(guān)鍵技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2010年

7 陳堅(jiān)強(qiáng);DB2數(shù)據(jù)庫(kù)索引性能調(diào)整與優(yōu)化[D];上海交通大學(xué);2011年

8 葛付江;面向動(dòng)態(tài)文檔集的大規(guī)模文本索引構(gòu)建技術(shù)的研究[D];哈爾濱工業(yè)大學(xué);2008年

9 肖袁;基于索引的XML查詢(xún)技術(shù)研究[D];南京師范大學(xué);2007年

10 邱澤令;關(guān)系-XML雙引擎數(shù)據(jù)庫(kù)管理系統(tǒng)CoSQLRX中XML數(shù)據(jù)索引的研究與實(shí)現(xiàn)[D];東北大學(xué);2010年

，

本文編號(hào)：753539