【摘要】：隨著互聯(lián)網(wǎng)的發(fā)展和數(shù)據(jù)量的指數(shù)型增長,各個領(lǐng)域充斥著大量信息。增加網(wǎng)絡(luò)檢索的可靠性和專業(yè)性成為了各領(lǐng)域的重要任務(wù)。因此,本文把結(jié)合垂直搜索引擎的技術(shù)開發(fā)出針對計算機(jī)學(xué)科資源的搜索引擎平臺作為研究目的。本文首先從用戶需求、爬蟲結(jié)構(gòu)、分詞索引等角度分析了現(xiàn)存的各大搜索引擎的研究現(xiàn)狀,結(jié)合本設(shè)計的需求提出新的要求,對搜索引擎的核心組件數(shù)據(jù)采集(網(wǎng)絡(luò)爬蟲)、數(shù)據(jù)處理、索引、檢索器等功能和原理進(jìn)行研究和描述。針對計算機(jī)領(lǐng)域的知識進(jìn)行結(jié)構(gòu)化處理,改善了其搜索功能,在設(shè)計搜索引擎時對以下幾項技術(shù)在實(shí)現(xiàn)時進(jìn)行了優(yōu)化:一是對爬蟲算法進(jìn)行了優(yōu)化,引入了爬蟲對URL的判別機(jī)制,減少了爬蟲的爬取次數(shù),從而提高了搜索引擎的運(yùn)行效率;二是針對計算機(jī)學(xué)科資源對文本分類和分詞方法進(jìn)行優(yōu)化,讓搜索引擎對這一領(lǐng)域信息判斷更加準(zhǔn)確;三是根據(jù)目前對搜索引擎結(jié)果頁的研究對系統(tǒng)的用戶友好度進(jìn)行優(yōu)化。本文主要工作分為以下幾個方面:(1)設(shè)計爬蟲程序和爬蟲策略以取得結(jié)構(gòu)化的計算機(jī)學(xué)科資源數(shù)據(jù),對網(wǎng)頁代碼構(gòu)造結(jié)構(gòu)樹,實(shí)現(xiàn)網(wǎng)頁分塊,根據(jù)網(wǎng)頁元素信息xpath找到所在的文檔對象,獲取結(jié)構(gòu)化數(shù)據(jù)。(2)面對獲取數(shù)據(jù)重復(fù),數(shù)據(jù)損壞等情況,將Jaccard算法引入到搜索引擎領(lǐng)域,提出通過兩步編碼的方式用于數(shù)據(jù)預(yù)處理。Jaccard的思想是將兩個集合的交集與并集的比例作為兩個集合的相似度。結(jié)合以上內(nèi)容本文提出一種重復(fù)信息篩選方法,對結(jié)構(gòu)化數(shù)據(jù)信息進(jìn)行篩選處理。(3)研究了搜索結(jié)果頁面要素分布對搜索體驗(yàn)的影響。一方面嵌入新型頁面元素,使搜索結(jié)果頁面呈現(xiàn)垂直化、多樣化特征;另一方面結(jié)合用戶的搜索行為數(shù)據(jù),包括眼球、光標(biāo)、手勢、聲學(xué)等各類數(shù)據(jù),實(shí)現(xiàn)對用戶意圖的預(yù)測。在以上工作的基礎(chǔ)上,對實(shí)現(xiàn)的針對計算機(jī)學(xué)科資源的垂直搜索引擎中的檢索功能和網(wǎng)絡(luò)爬蟲進(jìn)行功能測試,保證系統(tǒng)數(shù)據(jù)的信息準(zhǔn)確性。
【圖文】：

第二章基本理論逡逑絡(luò)應(yīng)用程序，它面向網(wǎng)絡(luò)環(huán)境中海量數(shù)據(jù)，面向數(shù)互聯(lián)網(wǎng)，正因如此面向ｗｅｂ的數(shù)據(jù)收集是現(xiàn)今主流和事務(wù)，跟蹤時勢的有效途徑。搜索引擎的主要結(jié)，通過ｗｅｂ爬蟲在各個網(wǎng)頁采集數(shù)據(jù)并更新其中的存，并對儲存的信息進(jìn)行處理。處理方法包括摘要建索引。用戶將想要搜索的內(nèi)容提交給搜索引擎，的內(nèi)容呈現(xiàn)給觀眾，，并按一定的算法進(jìn)行排序。逡逑

圖２－２搜索引擎索引流程圖逡逑使用者開始進(jìn)行g(shù)ぷ魘�，系统不抠犥把使又i呱洗畔⒂胨斜鏡匚募釁シ絞剿俁嚷實(shí)停曳淺Ｏ姆衿髯試礎(chǔ)Ｒ虼訟低郴嵐鴨和瓿賞懲騁淮砜庵�。碎庽引擎经过这种袉柦訃I辰峁怪螅橢皇Ｏ驢梢蘊(yùn)峁鰨澹廡畔⒛諶蕕拇怪彼閹饕婕際蹂義洗怪彼閹饕嫻慕峁瑰義舷低車敝�，需要夺j縹謀鏡乃鴨δ埽杉際蕕腦ご砉δ�，建立索引簣D斐嬖謔薟杉？櫓寫τ諍誦牡匚�，矚g顯諭韁械玫絞藎襯諶荽媧⒌北境＜萊胬此擔(dān)撬鴨鰨澹廡畔⒎絞絞峭ü廊。鰨澹獾模眨遙�，这样抓取出一粥嶁文件，而随讎Iチ姆⒄�，网驴c洗蟛糠值耐扯際嵌常桓鐾吃誆蝗∫不嶧竦貌煌慕峁�，因此湃R婊竦檬菥哂惺斃裕杉？櫓信萊嫘枰誆煌煌辰信廊。歡現(xiàn)匭率涑觶鰨澹廡畔�。辶x顯紀(jì)持信廊〉降氖藎蕕醬砟？櫓蔥行畔⒃ご砉δ�，索引模块是碎�

本文編號：2591071