本文選題：信息檢索 + 分布式實時搜索模型�。� 參考：《電信科學(xué)》2011年11期

【摘要】：實時搜索已成為信息檢索領(lǐng)域的熱點問題之一。傳統(tǒng)搜索引擎在分布式環(huán)境下無法保證大數(shù)據(jù)量、高并發(fā)情況下的實時響應(yīng)和數(shù)據(jù)容災(zāi)。本文提出了一種基于Solr的分布式實時搜索模型,分析了其實現(xiàn)原理。模型通過內(nèi)存索引與磁盤索引相結(jié)合保證索引信息的實時展示,同時引入CommitLog日志保證內(nèi)存索引數(shù)據(jù)容災(zāi),并通過Master/Slave模型保證搜索服務(wù)的可用性。最終應(yīng)用于實際生產(chǎn)系統(tǒng)中,實踐結(jié)果充分證明了該模型的可行性。
[Abstract]:Real-time search has become one of the hot issues in the field of information retrieval. Traditional search engines can not guarantee large amount of data in distributed environment, real-time response and data disaster recovery in high concurrent environment. In this paper, a distributed real-time search model based on Solr is proposed and its implementation principle is analyzed. The model combines the memory index and disk index to ensure the real-time display of index information, at the same time introduces the Committee Log to ensure the disaster recovery of the memory index data, and ensures the availability of the search service through the Master / Slave model. Finally, it is applied to the actual production system, and the practical results fully prove the feasibility of the model.
【作者單位】： 湖南大學(xué)嵌入式系統(tǒng)及網(wǎng)絡(luò)實驗室;淘寶(中國)有限責(zé)任公司;
【基金】：國家自然科學(xué)基金資助項目(No.60873074) 國家工業(yè)和信息化部核高基金資助項目(No.2009ZX01038-001)
【分類號】：TP391.3

【參考文獻】

相關(guān)期刊論文 前2條

1 姚樹宇,趙少東;一種使用分布式技術(shù)的搜索引擎[J];計算機應(yīng)用與軟件;2005年10期

2 曾春,邢春曉,周立柱;基于內(nèi)容過濾的個性化搜索算法[J];軟件學(xué)報;2003年05期

【共引文獻】

相關(guān)期刊論文 前10條

1 汪潔;朱軍;;基于Linux的中文垃圾郵件過濾系統(tǒng)設(shè)計與實現(xiàn)[J];安徽農(nóng)業(yè)大學(xué)學(xué)報;2011年02期

2 姚克娟,李晉宏;應(yīng)用Agent技術(shù)實現(xiàn)個性化信息服務(wù)[J];北方工業(yè)大學(xué)學(xué)報;2004年03期

3 李偉;黃穎;;基于HtmlParser的網(wǎng)頁信息提取[J];兵工自動化;2007年07期

4 王冬青;;遠程教育個性化學(xué)習(xí)支持服務(wù)研究[J];中國遠程教育;2008年08期

5 楊仁廣;孟祥增;;網(wǎng)絡(luò)多媒體教學(xué)資源主題搜索研究[J];電化教育研究;2009年05期

6 謝海濤;孟祥武;;適應(yīng)用戶需求進化的個性化信息服務(wù)模型[J];電子學(xué)報;2011年03期

7 張波;向陽;王堅;;一種基于語義可理解的信息過濾算法[J];電子與信息學(xué)報;2010年10期

8 石瑋;周焱華;汪自云;;基于INTERNET的在線IP頁面信息單元實時解析的設(shè)計與實現(xiàn)[J];福建電腦;2009年06期

9 李彥剛;魏海平;侯興華;;基于HTMLParser的Web信息抽取系統(tǒng)的設(shè)計與實現(xiàn)[J];遼寧石油化工大學(xué)學(xué)報;2006年02期

10 陳基漓;基于數(shù)據(jù)立方體的用戶興趣模型[J];桂林工學(xué)院學(xué)報;2005年01期

相關(guān)會議論文 前2條

1 劉勘;尹承明;陳凡;;圖書借閱信息的分析與挖掘[A];第二十五屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（一）[C];2008年

2 袁曉潔;竇志成;劉芳;張路;;一種基于動態(tài)用戶模型的個性化Web搜索算法[A];第二十五屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集（二）[C];2008年

相關(guān)博士學(xué)位論文 前10條

1 劉玉國;基于內(nèi)容的互聯(lián)網(wǎng)輿情信息挖掘關(guān)鍵技術(shù)研究[D];山東大學(xué);2011年

2 王瑞琴;基于語義處理技術(shù)的信息檢索模型研究[D];浙江大學(xué);2009年

3 鄧林;網(wǎng)絡(luò)信息安全防護理論與方法的研究[D];合肥工業(yè)大學(xué);2009年

4 潘建國;基于語義的用戶建模技術(shù)與應(yīng)用研究[D];上海大學(xué);2009年

5 張曉剛;面向軟件過程改進的知識管理技術(shù)研究[D];中國科學(xué)院研究生院（軟件研究所）;2004年

6 張樹人;從社會性軟件、Web2.0到復(fù)雜適應(yīng)信息系統(tǒng)研究[D];中國人民大學(xué);2006年

7 張丙奇;個性化需求的描述、獲取與推斷—案例研究[D];中國科學(xué)院研究生院（計算技術(shù)研究所）;2005年

8 趙鵬;復(fù)雜網(wǎng)絡(luò)與互聯(lián)網(wǎng)個性化信息服務(wù)的研究[D];中國科學(xué)技術(shù)大學(xué);2006年

9 周斌;面向公眾服務(wù)的電子政務(wù)研究[D];同濟大學(xué);2007年

10 張磊;基于本體的主動式知識系統(tǒng)及其若干關(guān)鍵技術(shù)研究[D];南京航空航天大學(xué);2006年

相關(guān)碩士學(xué)位論文 前10條

1 馮思平;Web招標(biāo)信息搜索及管理系統(tǒng)的設(shè)計[D];電子科技大學(xué);2009年

2 陳超;基于詞語共現(xiàn)的BBS垃圾信息過濾模型[D];哈爾濱工業(yè)大學(xué);2009年

3 唐微;網(wǎng)絡(luò)信息提取系統(tǒng)關(guān)鍵技術(shù)研究[D];大連理工大學(xué);2009年

4 劉佳音;基于本體的個性化信息系統(tǒng)的應(yīng)用研究[D];杭州電子科技大學(xué);2009年

5 余坦;個性化技術(shù)資料支持幫助系統(tǒng)的研究與實現(xiàn)[D];湖南大學(xué);2009年

6 韓兆國;電信計費帳務(wù)系統(tǒng)核心模塊的設(shè)計[D];哈爾濱工程大學(xué);2010年

7 周曉紅;基于內(nèi)容與鏈接的頁面價值算法研究[D];電子科技大學(xué);2010年

8 梁云靜;基于遺傳算法的主題爬蟲搜索策略研究[D];湖北工業(yè)大學(xué);2010年

9 范慧;以博客內(nèi)容為對象的個性化搜索研究[D];華中科技大學(xué);2010年

10 吳則則;支持動態(tài)演進的用戶興趣模型挖掘方法研究[D];山東科技大學(xué);2010年

【二級參考文獻】

相關(guān)期刊論文 前6條

1 肖詩源,葉俊,劉賢德;一種基于Agent的分布式搜索引擎[J];計算機工程;2002年07期

2 賀廣宜,羅莉;分布式搜索引擎的設(shè)計與實現(xiàn)[J];計算機應(yīng)用;2003年05期

3 郭少友;Web環(huán)境下分布式信息檢索模式[J];情報科學(xué);2003年06期

4 翁惠玉,馬范援,朱義軍,楊傳厚;網(wǎng)絡(luò)搜索引擎的現(xiàn)狀分析[J];情報學(xué)報;1999年S1期

5 瞿艷,盧增祥,李衍達;分布式網(wǎng)絡(luò)信息查詢系統(tǒng)[J];清華大學(xué)學(xué)報(自然科學(xué)版);2000年01期

6 曾春,邢春曉,周立柱;個性化服務(wù)技術(shù)綜述[J];軟件學(xué)報;2002年10期

【相似文獻】

相關(guān)期刊論文 前10條

1 宿建光;中國第一套自主研發(fā)的基于Linux數(shù)據(jù)容災(zāi)系統(tǒng)誕生[J];通信世界;2004年15期

2 楊則正;信息檢索和交換的手段[J];管理科學(xué)文摘;1996年03期

3 鄒遠鵬,李武湘;葛洲壩集團公司信息系統(tǒng)數(shù)據(jù)容災(zāi)的建設(shè)與對策[J];科技創(chuàng)業(yè)月刊;2002年12期

4 施水才;信息檢索的核心支撐技術(shù)[J];中國計算機用戶;2003年29期

5 陳新顏;高校信息檢索網(wǎng)絡(luò)教育現(xiàn)狀及其發(fā)展趨勢[J];情報資料工作;2005年02期

6 鄭冬仙;供電企業(yè)數(shù)據(jù)容災(zāi)和數(shù)據(jù)安全[J];電力信息化;2005年02期

7 王斌;徐揚;;ACM SIGIR 2008參會報告[J];中文信息學(xué)報;2008年06期

8 ;“災(zāi)難”奈我何?——HP數(shù)據(jù)容災(zāi)解決方案[J];電腦知識與技術(shù);2001年15期

9 劉衛(wèi)國,黃祥喜;人工智能與信息檢索比較研究[J];技術(shù)與市場;1988年01期

10 唐培麗;胡明;解飛;;元搜索引擎研究[J];氣象水文海洋儀器;2005年Z1期

相關(guān)會議論文 前10條

1 高勁松;胡金柱;何婷婷;柳青;阮蕓星;;自適應(yīng)集成式信息檢索研究[A];第十七屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（技術(shù)報告篇）[C];2000年

2 ;第五屆全國信息檢索學(xué)術(shù)會議(CCIR 2009)[A];第五屆全國信息檢索學(xué)術(shù)會議論文集[C];2009年

3 ;前言[A];第五屆全國信息檢索學(xué)術(shù)會議論文集[C];2009年

4 溫馨;王鵬;李少亮;郭文琪;陳群;婁穎;;基于關(guān)鍵字的XML信息檢索反饋技術(shù)的研究[A];NDBC2010第27屆中國數(shù)據(jù)庫學(xué)術(shù)會議論文集(B輯)[C];2010年

5 ;第四屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會議(NCIRCS 2008)[A];第四屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會議論文集（下）[C];2008年

6 ;編者的話[A];第二屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會議（NCIRCS-2005）論文集[C];2005年

7 王敬成;;HNC農(nóng)村智能信息檢索系統(tǒng)[A];2006年首屆ICT大會信息、知識、智能及其轉(zhuǎn)換理論第一次高峰論壇會議論文集[C];2006年

8 李應(yīng)興;付婷;李勇;;基于LUCENE的藏文信息檢索的研究與應(yīng)用[A];民族語言文字信息技術(shù)研究——第十一屆全國民族語言文字信息學(xué)術(shù)研討會論文集[C];2007年

9 吳立德;黃萱菁;;前言[A];NCIRCS2004第一屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會議論文集[C];2004年

10 吳曉;李丹寧;林潔;冀肖榆;李丹;;個性化搜索引擎中用戶興趣模型的研究[A];第三屆全國信息檢索與內(nèi)容安全學(xué)術(shù)會議論文集[C];2007年

相關(guān)重要報紙文章 前10條

1 希安;微軟試水信息檢索[N];經(jīng)濟日報;2004年

2 王丹紅;數(shù)學(xué)：為因特網(wǎng)建立秩序[N];科學(xué)時報;2009年

3 本報記者 潘永花;組件化平臺提升信息檢索效率[N];網(wǎng)絡(luò)世界;2003年

4 柏榮;國家973項目在因特網(wǎng)大規(guī)模信息檢索領(lǐng)域取得突破[N];中國高新技術(shù)產(chǎn)業(yè)導(dǎo)報;2003年

5 《計算機世界》方案評析實驗室;容災(zāi)解決方案評析[N];計算機世界;2007年

6 創(chuàng)新科存儲技術(shù)有限公司售前技術(shù)部經(jīng)理 馮凱;UIT SVM容災(zāi)備份解決方案[N];中國計算機報;2007年

7 李宇鵬;中小企業(yè)數(shù)據(jù)容災(zāi)備份之道[N];網(wǎng)絡(luò)世界;2008年

8 微軟中國研究院 陳正 李明鏡 馬維英;互聯(lián)網(wǎng)上圖像信息檢索[N];計算機世界;2001年

9 于振海;Microsoft Office 2003的翻譯服務(wù)你用了嗎？[N];中國電腦教育報;2004年

10 郭濤;集中交易激發(fā)災(zāi)備需求[N];中國計算機報;2006年

相關(guān)博士學(xué)位論文 前10條

1 董道國;高維數(shù)據(jù)索引結(jié)構(gòu)研究[D];復(fù)旦大學(xué);2005年

2 林建方;詞搭配抽取及在信息檢索中的應(yīng)用研究[D];哈爾濱工業(yè)大學(xué);2010年

3 翟海軍;面向Web信息檢索的知識挖掘[D];中國科學(xué)技術(shù)大學(xué);2010年

4 郭永明;XML文檔交互式信息檢索技術(shù)研究[D];東華大學(xué);2010年

5 林古立;互聯(lián)網(wǎng)信息檢索中的多樣化排序研究及應(yīng)用[D];華南理工大學(xué);2011年

6 劉云峰;基于潛在語義分析的中文概念檢索研究[D];華中科技大學(xué);2005年

7 馬馬杜 �？ɡ�;基于多智能體的流體動力行業(yè)虛擬聯(lián)盟信息檢索的研究[D];浙江大學(xué);2002年

8 張毅波;史文結(jié)構(gòu)化信息檢索系統(tǒng)的研究與實現(xiàn)[D];中國科學(xué)院研究生院（軟件研究所）;2001年

9 王鑫印;無結(jié)構(gòu)和半結(jié)構(gòu)信息檢索相關(guān)技術(shù)研究[D];復(fù)旦大學(xué);2007年

10 邵虹;基于內(nèi)容的醫(yī)學(xué)圖像檢索關(guān)鍵技術(shù)研究[D];東北大學(xué);2005年

相關(guān)碩士學(xué)位論文 前10條

1 吳燕;網(wǎng)上多語種信息檢索與管理系統(tǒng)的研究與設(shè)計[D];新疆大學(xué);2010年

2 楊立淳;針對社會協(xié)作生成型數(shù)據(jù)的信息檢索[D];上海交通大學(xué);2011年

3 姜鑫;跨漢蒙語言信息檢索中的查詢項翻譯方法研究[D];內(nèi)蒙古大學(xué);2011年

4 王啟戶;面向遠程教育的搜索引擎系統(tǒng)設(shè)計與實現(xiàn)[D];西安電子科技大學(xué);2008年

5 陳琳;基于搜索引擎的問答系統(tǒng)若干關(guān)鍵技術(shù)研究與實現(xiàn)[D];天津大學(xué);2008年

6 楊宇;搜索詞的意圖分析與應(yīng)用[D];北京郵電大學(xué);2010年

7 胡玲敏;數(shù)據(jù)容災(zāi)方案在會計信息系統(tǒng)中的設(shè)計與實現(xiàn)[D];華東師范大學(xué);2011年

8 張帆;新聞信息采集系統(tǒng)的設(shè)計與實現(xiàn)[D];國防科學(xué)技術(shù)大學(xué);2008年

9 白宇;中文問答系統(tǒng)中多策略答案抽取技術(shù)的研究[D];沈陽航空工業(yè)學(xué)院;2008年

10 胡維慧;基于用戶模型的個性化元搜索引擎的研究與設(shè)計[D];山東科技大學(xué);2009年

，

本文編號：1986159