發(fā)布時(shí)間：2017-06-25 14:03

  本文關(guān)鍵詞：分布式全網(wǎng)職位搜索引擎的研究與實(shí)現(xiàn)，由筆耕文化傳播整理發(fā)布。

【摘要】：傳統(tǒng)招聘網(wǎng)站所查尋的信息僅限于站內(nèi)搜索,而且每個(gè)招聘網(wǎng)站往往都會(huì)有重復(fù)的招聘信息,導(dǎo)致重復(fù)投遞,對(duì)求職者和招聘者都造成了資源浪費(fèi)。文中研究和分析了基于Lucene的分布式全文搜索引擎Solrcloud,設(shè)計(jì)了全網(wǎng)職位搜索引擎系統(tǒng)。該系統(tǒng)采用Bloom Filter進(jìn)行數(shù)據(jù)及URL的去重,通過使用Zookeeper提供分布式同步服務(wù),并通過多線程來實(shí)現(xiàn)網(wǎng)頁(yè)并發(fā)抓取。通過對(duì)系統(tǒng)的測(cè)試表明,該系統(tǒng)具有良好的可靠性和應(yīng)用性,并在大數(shù)據(jù)量的情況下保證了搜索的效率及準(zhǔn)確性。
【作者單位】： 西南交通大學(xué)物理科學(xué)與技術(shù)學(xué)院;西南交通大學(xué)數(shù)學(xué)學(xué)院;
【關(guān)鍵詞】： Solrcloud 職位搜索 網(wǎng)絡(luò)爬蟲 分布式搜索引擎
【基金】：教育部新世紀(jì)優(yōu)秀人才支持計(jì)劃項(xiàng)目(NCET-10-0702)
【分類號(hào)】：TP391.3
【正文快照】： 0引言互聯(lián)網(wǎng)的普及和發(fā)展給人們帶來了大量的實(shí)時(shí)信息,滿足了用戶在信息時(shí)代對(duì)信息的需求。近年來,各招聘網(wǎng)站的迅速興起,給求職者提供了一種在網(wǎng)上找工作的選擇,通過招聘網(wǎng)站找工作,已經(jīng)成為了非常重要的一種途徑。但是各大招聘網(wǎng)站存在的招聘信息重復(fù)、刷新時(shí)間過快等問題往

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前8條

1 傅巍瑋;李仁發(fā);劉鈺峰;黃松立;;基于Solr的分布式實(shí)時(shí)搜索模型研究與實(shí)現(xiàn)[J];電信科學(xué);2011年11期

2 馮祥;邱志超;;基于Solr的海量日志信息查詢性能優(yōu)化的研究[J];硅谷;2014年03期

3 李振龍;;Web信息檢索的技術(shù)分析與發(fā)展策略研究[J];計(jì)算機(jī)科學(xué);2006年04期

4 印鑒,陳憶群,張鋼;搜索引擎技術(shù)研究與發(fā)展[J];計(jì)算機(jī)工程;2005年14期

5 張啟宇;朱玲;張雅萍;;中文分詞算法研究綜述[J];情報(bào)探索;2008年11期

6 霍慶;劉培植;;使用Solr為大數(shù)據(jù)庫(kù)搭建搜索引擎[J];軟件;2011年06期

7 鄭榕增;林世平;;基于Lucene的中文倒排索引技術(shù)的研究[J];計(jì)算機(jī)技術(shù)與發(fā)展;2010年03期

8 姚曉娜;祝忠明;;基于分面搜索引擎Solr的機(jī)構(gòu)知識(shí)庫(kù)訪問統(tǒng)計(jì)[J];現(xiàn)代圖書情報(bào)技術(shù);2011年Z1期

【共引文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 馬福晶;;基于網(wǎng)絡(luò)信息檢索技術(shù)的數(shù)據(jù)包捕獲[J];重慶科技學(xué)院學(xué)報(bào)(自然科學(xué)版);2008年05期

2 張澎;王魯達(dá);唐日成;;電子商務(wù)中的數(shù)據(jù)挖掘[J];湘南學(xué)院學(xué)報(bào);2009年02期

3 丁偉;謝彥峰;張忠林;;一種基于用戶興趣的搜索引擎輸入信息處理方法[J];電腦與信息技術(shù);2008年05期

4 王晶;陳衛(wèi)衛(wèi);;AJAX搜索引擎研究[J];電腦知識(shí)與技術(shù);2009年19期

5 胡雙雙;秦杰;;搜索引擎技術(shù)及其發(fā)展趨勢(shì)[J];福建電腦;2008年06期

6 許華;劉勇;;中文分詞詞典機(jī)制的研究[J];福建電腦;2010年03期

7 徐周昶;章美仁;;垂直搜索引擎系統(tǒng)的架構(gòu)研究[J];福建電腦;2011年11期

8 吳建;;基于Lucene的校園網(wǎng)搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)[J];湖南工程學(xué)院學(xué)報(bào)(自然科學(xué)版);2012年02期

9 彭軻;廖聞劍;;基于瀏覽器服務(wù)的網(wǎng)絡(luò)爬蟲[J];硅谷;2009年04期

10 綦科;謝冬青;;基于內(nèi)容的短信分類系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];廣州大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年05期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前1條

1 劉雪芹;齊大朝;;基于robot的全文搜索引擎原理剖析[A];2011年全國(guó)電子信息技術(shù)與應(yīng)用學(xué)術(shù)會(huì)議論文集[C];2011年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前6條

1 田俊華;基于本體知識(shí)庫(kù)的教學(xué)資源自動(dòng)采集技術(shù)研究[D];南京師范大學(xué);2011年

2 尹世群;Web文本分類關(guān)鍵技術(shù)研究[D];西南大學(xué);2008年

3 陳圣兵;基于商空間理論的海量信息檢索模型的研究[D];安徽大學(xué);2010年

4 程明智;電子商務(wù)環(huán)境中信息快速加密及內(nèi)容安全管理相關(guān)技術(shù)研究[D];北京郵電大學(xué);2010年

5 王鑒全;基于概念圖挖掘的中文文本傾向性研究[D];大連理工大學(xué);2012年

6 吳林靜;基于語(yǔ)義場(chǎng)模型的學(xué)科資源聚類及應(yīng)用研究[D];華中師范大學(xué);2013年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 徐財(cái)應(yīng);基于Lucene的搜索引擎技術(shù)的研究與改進(jìn)[D];長(zhǎng)春理工大學(xué);2010年

2 劉靖媛;個(gè)性搜索引擎中用戶興趣模型研究[D];哈爾濱工程大學(xué);2010年

3 孫原;基于酉變換的權(quán)威頁(yè)面挖掘算法研究[D];哈爾濱工程大學(xué);2010年

4 鐘鴻鵬;基于時(shí)態(tài)信息的網(wǎng)頁(yè)排序系統(tǒng)的研究與實(shí)現(xiàn)[D];華南理工大學(xué);2010年

5 巫昌凱;企業(yè)知識(shí)庫(kù)系統(tǒng)中復(fù)雜查詢系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];華南理工大學(xué);2010年

6 徐德玉;中文文檔內(nèi)容相似度檢測(cè)方法研究[D];長(zhǎng)春工業(yè)大學(xué);2010年

7 劉飛榮;SOM算法的改進(jìn)及其在中文文本聚類的應(yīng)用[D];南昌大學(xué);2010年

8 胡少榮;一種輿情信息預(yù)處理平臺(tái)的研究與實(shí)現(xiàn)[D];北京交通大學(xué);2010年

9 呂靖;互聯(lián)網(wǎng)搜索詞分類關(guān)鍵技術(shù)研究[D];浙江大學(xué);2011年

10 陳可欽;基于垂直搜索引擎的主題爬蟲算法的研究[D];中南林業(yè)科技大學(xué);2009年

【二級(jí)參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 高軍,陳錫先;無監(jiān)督的動(dòng)態(tài)分詞方法[J];北京郵電大學(xué)學(xué)報(bào);1997年04期

2 文庭孝;情報(bào)檢索中漢語(yǔ)語(yǔ)詞自動(dòng)切分研究[J];圖書與情報(bào);2001年02期

3 文庭孝;漢語(yǔ)自動(dòng)分詞研究進(jìn)展[J];圖書與情報(bào);2005年05期

4 何嘉;陳琳;;基于神經(jīng)網(wǎng)絡(luò)漢語(yǔ)分詞模型的優(yōu)化[J];成都信息工程學(xué)院學(xué)報(bào);2006年06期

5 孫茂松,鄒嘉彥;漢語(yǔ)自動(dòng)分詞研究評(píng)述[J];當(dāng)代語(yǔ)言學(xué);2001年01期

6 張利;張立勇;張曉淼;耿鐵鎖;岳宗閣;;基于改進(jìn)BP網(wǎng)絡(luò)的中文歧義字段分詞方法研究[J];大連理工大學(xué)學(xué)報(bào);2007年01期

7 彭波,李曉明;搜索引擎倒排文件的一種分塊組織技術(shù)[J];電子學(xué)報(bào);2005年02期

8 鄧曙光,曾朝暉;漢語(yǔ)分詞中一種逐詞匹配算法的研究[J];湖南城市學(xué)院學(xué)報(bào)(自然科學(xué)版);2005年01期

9 李向陽(yáng),張亞非;一種Hash高速分詞算法[J];解放軍理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2004年02期

10 張國(guó)煊,王小華,周必水;快速書面漢語(yǔ)自動(dòng)分詞系統(tǒng)及其算法設(shè)計(jì)[J];計(jì)算機(jī)研究與發(fā)展;1993年01期

  本文關(guān)鍵詞：分布式全網(wǎng)職位搜索引擎的研究與實(shí)現(xiàn)，，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：482333