【摘要】：隨著Internet信息量的迅速增長，Web已經(jīng)逐漸成為人們獲取信息的主要平臺。各大搜索引擎應(yīng)運而生，競爭激烈。評價引擎的好壞，不僅要看搜索結(jié)果，還要依靠用戶體驗。用戶體驗必然能為引擎帶來流量，所以針對搜索引擎進(jìn)行用戶滿意度的評測已經(jīng)越來越重要，部分具有大型搜索引擎的公司已經(jīng)為此成立了專門的評測團(tuán)隊甚至部門，利用評測數(shù)據(jù)來引導(dǎo)引擎的走向。 搜索引擎用戶滿意度評測的原理，就是將搜索引擎的結(jié)果集信息搜集起來，交給用戶打分，并針對指標(biāo)進(jìn)行統(tǒng)計，對比引擎之間的優(yōu)劣。而能否成功地獲取到評測數(shù)據(jù)，，是能否成功發(fā)起評測任務(wù)的關(guān)鍵。 本文通過實驗數(shù)據(jù)說明數(shù)據(jù)抽取的準(zhǔn)確程度會直接影響評測結(jié)果，突出信息抽取部分對整個系統(tǒng)的重要性。對比了一些現(xiàn)有的Web信息抽取技術(shù)，并針對本系統(tǒng)的需求進(jìn)行分析，結(jié)合搜索引擎結(jié)果集頁面源碼的特點，總結(jié)各技術(shù)的優(yōu)勢與不足。提出使用正則匹配和Dom解析相結(jié)合的方式來抽取和處理評測數(shù)據(jù)。并基于這種設(shè)計思想，實現(xiàn)了一個適用性較強(qiáng)，自動化程度較高的Web信息抽取系統(tǒng)，來解決評測系統(tǒng)如何搜集評測數(shù)據(jù)的問題。 系統(tǒng)主要包括頁面下載、頁面過濾、生成抽取規(guī)則、信息抽取、數(shù)據(jù)存儲等部分。本文對這些部分依次做了較為詳細(xì)的介紹。其中生成抽取規(guī)則是系統(tǒng)較為重要的實現(xiàn)部分。系統(tǒng)可以利用Dom結(jié)構(gòu)和樣本學(xué)習(xí)來自動生成抽取規(guī)則，尋找節(jié)點的最大公共路徑，記錄樣本節(jié)點的特征，并經(jīng)過節(jié)點相似度匹配的算法過濾掉無關(guān)節(jié)點信息，為部分產(chǎn)品實現(xiàn)自動化較高的信息抽取。當(dāng)然，抽取規(guī)則也可人工修正。為了提高精度，部分產(chǎn)品采用正則匹配的方式進(jìn)行信息抽取。由人工提前編寫并錄入規(guī)則庫，系統(tǒng)會調(diào)用模板匹配模塊為信息抽取分配模板。 最后，本文介紹了評價信息抽取好壞的兩種指標(biāo)：準(zhǔn)確率和召回率。并對數(shù)據(jù)下載和信息抽取部分進(jìn)行測試和結(jié)果分析。依據(jù)評價指標(biāo)，發(fā)現(xiàn)系統(tǒng)對搜索引擎產(chǎn)生的結(jié)果集頁面具有很好的抽取效果，解決了為評測人員高效、準(zhǔn)確地獲取評測數(shù)據(jù)的問題。
【學(xué)位授予單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2012
【分類號】：TP391.3

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 袁鴻雁;;基于本體的HTML表格識別技術(shù)的研究[J];長春工程學(xué)院學(xué)報(自然科學(xué)版);2010年01期

2 王鋼明;屠建飛;;基于Web信息抽取的技術(shù)成果信息采集系統(tǒng)[J];成組技術(shù)與生產(chǎn)現(xiàn)代化;2007年04期

3 蔣邵衡;;WEB信息的抽取與集成研究[J];電腦知識與技術(shù);2009年30期

4 常勇;王亮;姚增利;袁方;;基于領(lǐng)域知識和決策樹的Deep Web數(shù)據(jù)標(biāo)注[J];廣西師范大學(xué)學(xué)報(自然科學(xué)版);2009年01期

5 彭波,閆宏飛;搜索引擎檢索系統(tǒng)質(zhì)量評估[J];計算機(jī)研究與發(fā)展;2005年10期

6 時達(dá)明;林鴻飛;趙晶;;基于模板化的Blog信息抽取[J];計算機(jī)工程與應(yīng)用;2008年09期

7 肖建鵬;張來順;任星;;直推式支持向量機(jī)在Web信息抽取中的應(yīng)用研究[J];計算機(jī)工程與應(yīng)用;2009年02期

8 李朝;彭宏;葉蘇南;張歡;楊親遙;;基于DOM樹的可適應(yīng)性Web信息抽取[J];計算機(jī)科學(xué);2009年07期

9 楊文柱,徐林昊,陳少飛,郝亞南,李天柱;基于XPath的Web信息抽取的設(shè)計與實現(xiàn)[J];計算機(jī)工程;2003年16期

10 陳瓊,蘇文健;基于網(wǎng)頁結(jié)構(gòu)樹的Web信息抽取方法[J];計算機(jī)工程;2005年20期

本文編號：2522456