本文關(guān)鍵詞：分布式全網(wǎng)職位搜索引擎的研究與實現(xiàn)，由筆耕文化傳播整理發(fā)布。

【摘要】：傳統(tǒng)招聘網(wǎng)站所查尋的信息僅限于站內(nèi)搜索,而且每個招聘網(wǎng)站往往都會有重復(fù)的招聘信息,導(dǎo)致重復(fù)投遞,對求職者和招聘者都造成了資源浪費。文中研究和分析了基于Lucene的分布式全文搜索引擎Solrcloud,設(shè)計了全網(wǎng)職位搜索引擎系統(tǒng)。該系統(tǒng)采用Bloom Filter進行數(shù)據(jù)及URL的去重,通過使用Zookeeper提供分布式同步服務(wù),并通過多線程來實現(xiàn)網(wǎng)頁并發(fā)抓取。通過對系統(tǒng)的測試表明,該系統(tǒng)具有良好的可靠性和應(yīng)用性,并在大數(shù)據(jù)量的情況下保證了搜索的效率及準確性。
【作者單位】： 西南交通大學(xué)物理科學(xué)與技術(shù)學(xué)院;西南交通大學(xué)數(shù)學(xué)學(xué)院;
【關(guān)鍵詞】： Solrcloud 職位搜索 網(wǎng)絡(luò)爬蟲 分布式搜索引擎
【基金】：教育部新世紀優(yōu)秀人才支持計劃項目(NCET-10-0702)
【分類號】：TP391.3
【正文快照】： 0引言互聯(lián)網(wǎng)的普及和發(fā)展給人們帶來了大量的實時信息,滿足了用戶在信息時代對信息的需求。近年來,各招聘網(wǎng)站的迅速興起,給求職者提供了一種在網(wǎng)上找工作的選擇,通過招聘網(wǎng)站找工作,已經(jīng)成為了非常重要的一種途徑。但是各大招聘網(wǎng)站存在的招聘信息重復(fù)、刷新時間過快等問題往

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前8條

1 傅巍瑋;李仁發(fā);劉鈺峰;黃松立;;基于Solr的分布式實時搜索模型研究與實現(xiàn)[J];電信科學(xué);2011年11期

2 馮祥;邱志超;;基于Solr的海量日志信息查詢性能優(yōu)化的研究[J];硅谷;2014年03期

3 李振龍;;Web信息檢索的技術(shù)分析與發(fā)展策略研究[J];計算機科學(xué);2006年04期

4 印鑒,陳憶群,張鋼;搜索引擎技術(shù)研究與發(fā)展[J];計算機工程;2005年14期

5 張啟宇;朱玲;張雅萍;;中文分詞算法研究綜述[J];情報探索;2008年11期

6 霍慶;劉培植;;使用Solr為大數(shù)據(jù)庫搭建搜索引擎[J];軟件;2011年06期

7 鄭榕增;林世平;;基于Lucene的中文倒排索引技術(shù)的研究[J];計算機技術(shù)與發(fā)展;2010年03期

8 姚曉娜;祝忠明;;基于分面搜索引擎Solr的機構(gòu)知識庫訪問統(tǒng)計[J];現(xiàn)代圖書情報技術(shù);2011年Z1期

【共引文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 馬福晶;;基于網(wǎng)絡(luò)信息檢索技術(shù)的數(shù)據(jù)包捕獲[J];重慶科技學(xué)院學(xué)報(自然科學(xué)版);2008年05期

2 張澎;王魯達;唐日成;;電子商務(wù)中的數(shù)據(jù)挖掘[J];湘南學(xué)院學(xué)報;2009年02期

3 丁偉;謝彥峰;張忠林;;一種基于用戶興趣的搜索引擎輸入信息處理方法[J];電腦與信息技術(shù);2008年05期

4 王晶;陳衛(wèi)衛(wèi);;AJAX搜索引擎研究[J];電腦知識與技術(shù);2009年19期

5 胡雙雙;秦杰;;搜索引擎技術(shù)及其發(fā)展趨勢[J];福建電腦;2008年06期

6 許華;劉勇;;中文分詞詞典機制的研究[J];福建電腦;2010年03期

7 徐周昶;章美仁;;垂直搜索引擎系統(tǒng)的架構(gòu)研究[J];福建電腦;2011年11期

8 吳建;;基于Lucene的校園網(wǎng)搜索引擎的設(shè)計與實現(xiàn)[J];湖南工程學(xué)院學(xué)報(自然科學(xué)版);2012年02期

9 彭軻;廖聞劍;;基于瀏覽器服務(wù)的網(wǎng)絡(luò)爬蟲[J];硅谷;2009年04期

10 綦科;謝冬青;;基于內(nèi)容的短信分類系統(tǒng)的設(shè)計與實現(xiàn)[J];廣州大學(xué)學(xué)報(自然科學(xué)版);2011年05期

中國重要會議論文全文數(shù)據(jù)庫 前1條

1 劉雪芹;齊大朝;;基于robot的全文搜索引擎原理剖析[A];2011年全國電子信息技術(shù)與應(yīng)用學(xué)術(shù)會議論文集[C];2011年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前6條

1 田俊華;基于本體知識庫的教學(xué)資源自動采集技術(shù)研究[D];南京師范大學(xué);2011年

2 尹世群;Web文本分類關(guān)鍵技術(shù)研究[D];西南大學(xué);2008年

3 陳圣兵;基于商空間理論的海量信息檢索模型的研究[D];安徽大學(xué);2010年

4 程明智;電子商務(wù)環(huán)境中信息快速加密及內(nèi)容安全管理相關(guān)技術(shù)研究[D];北京郵電大學(xué);2010年

5 王鑒全;基于概念圖挖掘的中文文本傾向性研究[D];大連理工大學(xué);2012年

6 吳林靜;基于語義場模型的學(xué)科資源聚類及應(yīng)用研究[D];華中師范大學(xué);2013年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 徐財應(yīng);基于Lucene的搜索引擎技術(shù)的研究與改進[D];長春理工大學(xué);2010年

2 劉靖媛;個性搜索引擎中用戶興趣模型研究[D];哈爾濱工程大學(xué);2010年

3 孫原;基于酉變換的權(quán)威頁面挖掘算法研究[D];哈爾濱工程大學(xué);2010年

4 鐘鴻鵬;基于時態(tài)信息的網(wǎng)頁排序系統(tǒng)的研究與實現(xiàn)[D];華南理工大學(xué);2010年

5 巫昌凱;企業(yè)知識庫系統(tǒng)中復(fù)雜查詢系統(tǒng)的設(shè)計與實現(xiàn)[D];華南理工大學(xué);2010年

6 徐德玉;中文文檔內(nèi)容相似度檢測方法研究[D];長春工業(yè)大學(xué);2010年

7 劉飛榮;SOM算法的改進及其在中文文本聚類的應(yīng)用[D];南昌大學(xué);2010年

8 胡少榮;一種輿情信息預(yù)處理平臺的研究與實現(xiàn)[D];北京交通大學(xué);2010年

9 呂靖;互聯(lián)網(wǎng)搜索詞分類關(guān)鍵技術(shù)研究[D];浙江大學(xué);2011年

10 陳可欽;基于垂直搜索引擎的主題爬蟲算法的研究[D];中南林業(yè)科技大學(xué);2009年

【二級參考文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 高軍,陳錫先;無監(jiān)督的動態(tài)分詞方法[J];北京郵電大學(xué)學(xué)報;1997年04期

2 文庭孝;情報檢索中漢語語詞自動切分研究[J];圖書與情報;2001年02期

3 文庭孝;漢語自動分詞研究進展[J];圖書與情報;2005年05期

4 何嘉;陳琳;;基于神經(jīng)網(wǎng)絡(luò)漢語分詞模型的優(yōu)化[J];成都信息工程學(xué)院學(xué)報;2006年06期

5 孫茂松,鄒嘉彥;漢語自動分詞研究評述[J];當代語言學(xué);2001年01期

6 張利;張立勇;張曉淼;耿鐵鎖;岳宗閣;;基于改進BP網(wǎng)絡(luò)的中文歧義字段分詞方法研究[J];大連理工大學(xué)學(xué)報;2007年01期

7 彭波,李曉明;搜索引擎倒排文件的一種分塊組織技術(shù)[J];電子學(xué)報;2005年02期

8 鄧曙光,曾朝暉;漢語分詞中一種逐詞匹配算法的研究[J];湖南城市學(xué)院學(xué)報(自然科學(xué)版);2005年01期

9 李向陽,張亞非;一種Hash高速分詞算法[J];解放軍理工大學(xué)學(xué)報(自然科學(xué)版);2004年02期

10 張國煊,王小華,周必水;快速書面漢語自動分詞系統(tǒng)及其算法設(shè)計[J];計算機研究與發(fā)展;1993年01期

  本文關(guān)鍵詞：分布式全網(wǎng)職位搜索引擎的研究與實現(xiàn)，，由筆耕文化傳播整理發(fā)布。

本文編號：482333