【摘要】：近年來,高校畢業(yè)生規(guī)模的不斷擴(kuò)大,大學(xué)生的就業(yè)問題不容忽視,社會對此問題給予了廣泛關(guān)注。目前網(wǎng)絡(luò)上招聘網(wǎng)站不勝枚舉,很多招聘信息存在重復(fù)冗余,查詢效率低,信息可靠性低的問題,對畢業(yè)生來說,需要花費大量的時間甄別虛假信息、篩選重復(fù)信息,影響求職效率。本文通過研究分析爬蟲系統(tǒng)相關(guān)技術(shù),在深入了解相關(guān)技術(shù)算法的基礎(chǔ)上,搭建Hadoop分布式運行環(huán)境,運行爬取校園招聘相關(guān)職位信息,以解決招聘信息爬取效率低的問題,并且滿足面向校園招聘這一主題;通過并行爬取三個招聘網(wǎng)站校園招聘信息以解決校園招聘職位信息分布散且雜的問題;通過研究基于正則化的過濾方法篩選過濾主題不相關(guān)URL鏈接,以達(dá)到將爬取范圍限制到這三個招聘網(wǎng)站域名范圍內(nèi);通過研究基于標(biāo)題特征詞文本相似度的計算方式降低虛假招聘信息的PageRank評分:最終達(dá)到招聘信息冗余度較低、覆蓋信息較為全面的目的,并且提供了簡潔、易于操作的用戶查詢交互接口。論文主要工作如下:(1)面向校園招聘主題的分布式爬蟲系統(tǒng)設(shè)計。為獲取校園招聘信息,需要對各招聘網(wǎng)站的校園招聘信息鏈接進(jìn)行爬取;采用分布式計算框架對校園招聘信息進(jìn)行高效爬取;為實現(xiàn)面向校園招聘爬取這一主題,需要對爬取的URL鏈接進(jìn)行過濾;為方便用戶查詢校園招聘信息,需要提供搜索查詢服務(wù)功能。根據(jù)上述功能需求,系統(tǒng)模塊主要劃分為爬蟲模塊、索引模塊和檢索模塊。(2)面向校園招聘主題的分布式爬蟲系統(tǒng)實現(xiàn)。爬蟲模塊選用Nutch開源爬蟲框架,采用基于正則化的過濾方法進(jìn)行URL篩選,并利用其插件機(jī)制對其進(jìn)行二次開發(fā),實現(xiàn)基于標(biāo)題特征詞文本相似度的職位信息可靠性評分。索引模塊采用Solr框架對爬取到的校園招聘數(shù)據(jù)建立索引,并配置了 IK-Analyzer中文分詞器對校園招聘網(wǎng)頁本文執(zhí)行預(yù)處理,以提高查詢準(zhǔn)確度。檢索模塊設(shè)計實現(xiàn)基于JSP+CSS的用戶交互界面,方便用戶進(jìn)行檢索查詢。
【學(xué)位授予單位】：大連交通大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2018
【分類號】：TP391.1
【圖文】：

Ｎａｍｅｎｏｄｅ邋會定期從邋ＤａｔａＮｏｄｅｓ邋那里收到邋Ｈｅａｒｔｂｅａｔ邋和邋Ｂｌｏｃｋｒｅｐｏｒｔ邋反饋，Ｈｅａｒｔｂｅａｔ邋反饋逡逑用來確保ＤａｔａＮｏｄｅ沒有出現(xiàn)功能異常：Ｂｌｏｃｋｒｅｐｏｒｔ包含ＤａｔａＮｏｄｅ所存儲的Ｂｌｏｃｋ集合。逡逑如圖２．２所示給出了邋ＨＤＦＳ的組件結(jié)構(gòu)［１３］。逡逑邐邋Ｍｅｔａｄａｔａ邋（Ｎａｍｅ，邋ｒｅｐｌｉｃａｓ，．．．）：逡逑Ｍｅｔａｄａｔａ邋ｏｐｓ＂邋Ｎａｍｅｎｏｄｅ邋Ｈ邐／ｈｏｍｅ／ｆｏｏ／ｄａｔａ，邋３，．．．邐逡逑（邋Ｃｌｉｅｎｔ邐Ｂｌｏｃｋ邋ｏｐｓ逡逑Ｒｅｉｄ邋Ｄａｔａｎｏｄｅｓ邐Ｄａｔａｎｏｄｅｓ逡逑ＥＤＥ］｜邐°邐Ｉｔ？邋■邋Ｒｅｐｌｉｃａｔｉｏｎ邋Ｄ邋Ｄ逡逑□邐口邐＼邐ＪＺ＼邋Ｄｂｉｏｃｋｓ逡逑ｖ邐＼邋Ｊ邐／ｖＺＺｌ．邐Ｊ逡逑Ｖ邋－邐＇Ｙ逡逑Ｒａｃｋ邋１邐Ｒａｃｋ邋２逡逑（Ｃｌｉｅｎｔ逡逑圖２．２邋ＨＤＦＳ組件結(jié)構(gòu)逡逑Ｆｉｇ．邋２．２邋Ｔｈｅ邋ｓｔｒｕｃｔｕｒｅ邋ｏｆ邋ＨＤＦＳ邋ｃｏｍｐｏｎｅｎｔ逡逑在ＨＤＦＳ分布式文件系統(tǒng)中，ＮａｍｅＮｏｄｅ和ＤａｔａＮｏｄｅ是分別運行在單個機(jī)器上的逡逑７逡逑

．．４．２系統(tǒng)設(shè)計逡逑本校園招聘爬蟲系統(tǒng)整體架構(gòu)如圖４．２所示，Ｎｕｔｃｈ框架搭載在Ｈａｄｏｏｐ分布式集群逡逑利用ＭａｐＲｅｄｕｃｅ計算框架對Ｉｎｔｅｒｎｅｔ上的招聘信息進(jìn)行分布式高效爬取，將爬取到的校逡逑園招聘網(wǎng)頁數(shù)據(jù)存儲到ＨＤＦＳ文件系統(tǒng)中，然后啟動Ｓｏｌｒ服務(wù)器為校園招聘網(wǎng)頁數(shù)據(jù)建逡逑

分高的ＵＲＬ校園招聘信息。在達(dá)到預(yù)先設(shè)定的爬取深度后，循環(huán)爬取過程結(jié)束，爬取逡逑到的校園招聘網(wǎng)頁數(shù)據(jù)存儲在ＨＤＦＳ分布式文件系統(tǒng)中，等待索引模塊建立索弓丨。爬蟲逡逑模塊流程圖如圖４．４所不。逡逑ｃ開力臺）逡逑邐Ｊ邐逡逑建立初始ＵＲＬ種子逡逑集逡逑邐Ｉ邐逡逑邐？生成抓取隊列逡逑｜基于正化規(guī)則逡逑的ＵＲＬ過濾逡逑抓取園招聘逡逑網(wǎng)頁信患逡逑否邐｜解析校園招聘逡逑網(wǎng)貧信息逡逑Ｉ校園招聘患可靠性逡逑度置評分計算逡逑，１逡逑Ｉ更新羝取庫－逡逑４－逡逑（邋結(jié)束邋）逡逑圖４．４爬蟲模塊流程圖逡逑Ｆｉｇ．邋４．４邋Ｆｌｏｗｃｈａｒｔ邋ｏｆ邋ｔｈｅ邋ｃｒａｗｌｅｒ邋ｍｏｄｕｌｅ逡逑為了便于在Ｎｕｔｃｈ爬蟲基礎(chǔ)上加入校園招聘信息可靠性計算，需要對Ｎｕｔｃｈ框架源逡逑碼進(jìn)行分析，如圖４．５所示是Ｎｕｔｃｈ系統(tǒng)結(jié)構(gòu)圖，根據(jù)對Ｎｕｔｃｈ源碼的研讀可

【參考文獻(xiàn)】

相關(guān)期刊論文 前7條

1 岳紹敏;李萬龍;王璐;光順利;;基于Lucene索引的數(shù)據(jù)庫全文檢索[J];吉林大學(xué)學(xué)報(理學(xué)版);2014年05期

2 嚴(yán)磊;馬勇男;丁賓;鄭濤;;垂直搜索引擎之主題網(wǎng)絡(luò)爬蟲[J];福建電腦;2013年03期

3 王建雄;;基于特殊主題的PageRank改進(jìn)算法[J];圖書情報工作;2012年21期

4 方巍;文學(xué)志;潘吳斌;薛勝軍;;云計算:概念、技術(shù)及應(yīng)用研究綜述[J];南京信息工程大學(xué)學(xué)報(自然科學(xué)版);2012年04期

5 吳黎兵;柯亞林;何炎祥;劉楠;;分布式網(wǎng)絡(luò)爬蟲的設(shè)計與實現(xiàn)[J];計算機(jī)應(yīng)用與軟件;2011年11期

6 李稚楹;楊武;謝治軍;;PageRank算法研究綜述[J];計算機(jī)科學(xué);2011年S1期

7 張啟宇;朱玲;張雅萍;;中文分詞算法研究綜述[J];情報探索;2008年11期

本文編號：2792018