【摘要】：隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，Web成為各種應(yīng)用與研究的重要數(shù)據(jù)源之一，為信息檢索、數(shù)據(jù)挖掘等領(lǐng)域提供高質(zhì)量的數(shù)據(jù)。Web中一類重要的數(shù)據(jù)保存在可搜索網(wǎng)絡(luò)數(shù)據(jù)庫(kù)中，只有通過(guò)提交查詢請(qǐng)求，網(wǎng)站背后的數(shù)據(jù)才能按照一定的模板被擴(kuò)展在網(wǎng)頁(yè)上，如電子商務(wù)網(wǎng)站的商品信息網(wǎng)頁(yè)，這類動(dòng)態(tài)頁(yè)面稱為DeepWeb。Deep Web數(shù)據(jù)量大、發(fā)展迅猛、領(lǐng)域覆蓋全面、主題性強(qiáng)、信息結(jié)構(gòu)化程度高，具有很高的應(yīng)用價(jià)值。因此，如何從Deep Web中有效地抽取信息，幫助人們快速、準(zhǔn)確、有效的利用這些海量數(shù)據(jù)，具有重要的現(xiàn)實(shí)意義和廣闊的應(yīng)用前景。 Internet上的各個(gè)網(wǎng)站的信息相互獨(dú)立，Deep Web數(shù)據(jù)收集起來(lái)十分困難，在這種情況下，通常的搜索引擎發(fā)揮的作用微乎其微。通過(guò)手工書寫規(guī)則完成信息抽取的方式雖然準(zhǔn)確率高，技術(shù)門檻低，但是由于信息源的多樣化和潛在的改版風(fēng)險(xiǎn)，手工方式無(wú)法滿足人們對(duì)信息獲取的需求。結(jié)合上述背景，可以發(fā)現(xiàn)Web信息自動(dòng)抽取技術(shù)的研究與實(shí)現(xiàn)是一個(gè)非常迫切需要解決的問(wèn)題。針對(duì)這一問(wèn)題，本文在Web信息自動(dòng)抽取技術(shù)方面，包括查詢接口判定的機(jī)器學(xué)習(xí)方法、Web數(shù)據(jù)自動(dòng)抽取、數(shù)據(jù)項(xiàng)對(duì)齊等方面，進(jìn)行了深入而系統(tǒng)的研究，同時(shí)開發(fā)了Web信息自動(dòng)抽取系統(tǒng)。本文具體的研究工作和研究成果如下： (1)采用基于決策樹的查詢接口自動(dòng)判定方法。自動(dòng)提取網(wǎng)頁(yè)標(biāo)簽的特征，形成特征集合，根據(jù)幾種分類算法的準(zhǔn)確率的比較和分析，選擇使用決策樹分類器對(duì)網(wǎng)頁(yè)標(biāo)簽進(jìn)行分類。 (2)在基于DOM相似度匹配的Web數(shù)據(jù)抽取算法的基礎(chǔ)上，提出針對(duì)抽取結(jié)果的過(guò)濾算法，提高抽取結(jié)果的準(zhǔn)確率。首先通過(guò)DOM相似度匹配算法抽取列表頁(yè)面，但是由于這種算法僅僅挖掘網(wǎng)頁(yè)的重復(fù)結(jié)構(gòu)，導(dǎo)致抽取的準(zhǔn)確率不高。在這個(gè)基礎(chǔ)上，提出基于熵的過(guò)濾算法過(guò)濾抽取結(jié)果，，并通過(guò)k-means聚類算法判斷噪音的熵值。 (3)在基于部分樹對(duì)齊的數(shù)據(jù)項(xiàng)對(duì)齊算法的基礎(chǔ)上，提出有效的對(duì)齊規(guī)則，提高數(shù)據(jù)項(xiàng)對(duì)齊的準(zhǔn)確率。 (4)在以上研究?jī)?nèi)容的基礎(chǔ)上，設(shè)計(jì)開發(fā)了Web信息自動(dòng)抽取系統(tǒng)，系統(tǒng)實(shí)現(xiàn)功能包括：1)給定多個(gè)數(shù)據(jù)源的情況下，自動(dòng)判定查詢接口，并能自動(dòng)填充并提交查詢請(qǐng)求。2)對(duì)查詢請(qǐng)求返回的列表頁(yè)面實(shí)現(xiàn)自動(dòng)抽取，并對(duì)結(jié)果進(jìn)行過(guò)濾，提高了抽取的準(zhǔn)確率。3)將從列表頁(yè)面中抽取的數(shù)據(jù)記錄的數(shù)據(jù)項(xiàng)對(duì)齊，并保存。4)在存在分頁(yè)導(dǎo)航的情況下，實(shí)現(xiàn)分頁(yè)導(dǎo)航的自動(dòng)連續(xù)抽取并將抽取結(jié)果保存。 論文創(chuàng)新點(diǎn)如下：(1)采用基于決策樹的查詢接口自動(dòng)判定方法，使用決策樹分類模型自動(dòng)判定查詢接口，達(dá)到較高的準(zhǔn)確率。(2)提出一種改進(jìn)的列表頁(yè)面數(shù)據(jù)自動(dòng)抽取算法。在目前已有的基于DOM相似度的Web信息自動(dòng)抽取算法的基礎(chǔ)上，提出基于熵的過(guò)濾算法，達(dá)到更高的準(zhǔn)確率。(3)提出一種改進(jìn)的數(shù)據(jù)項(xiàng)對(duì)齊算法，在已有的部分樹對(duì)齊算法的基礎(chǔ)上，增加對(duì)齊規(guī)則，使得數(shù)據(jù)項(xiàng)的對(duì)齊達(dá)到更高的準(zhǔn)確率。 實(shí)現(xiàn)表明，本文提出的技術(shù)方法可以在基本無(wú)人工干預(yù)下快速、自動(dòng)地抽取列表頁(yè)面的豐富數(shù)據(jù)。
[Abstract]:......
【學(xué)位授予單位】：中國(guó)海洋大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2012
【分類號(hào)】：TP393.09

【參考文獻(xiàn)】

相關(guān)期刊論文 前8條

1 朱紹文,胡宏銀,王泉德,張大斌,黃浩,陸玉昌;決策樹采掘技術(shù)及發(fā)展趨勢(shì)[J];計(jì)算機(jī)工程;2000年10期

2 李道國(guó),苗奪謙,俞冰;決策樹剪枝算法的研究與改進(jìn)[J];計(jì)算機(jī)工程;2005年08期

3 姜波;丁岳偉;;基于約束樹編輯距離與導(dǎo)航樹的信息采集[J];計(jì)算機(jī)工程;2009年14期

4 曾春,邢春曉,周立柱;基于內(nèi)容過(guò)濾的個(gè)性化搜索算法[J];軟件學(xué)報(bào);2003年05期

5 馬軍;宋玲;韓曉暉;閆潑;;基于網(wǎng)頁(yè)上下文的Deep Web數(shù)據(jù)庫(kù)分類[J];軟件學(xué)報(bào);2008年02期

6 滕皓,趙國(guó)毅,韓保勝;改進(jìn)決策樹的研究[J];濟(jì)南大學(xué)學(xué)報(bào)(自然科學(xué)版);2002年03期

7 張紅霞;;缺失值填充:基于信息增益的方法[J];計(jì)算機(jī)工程與設(shè)計(jì);2006年24期

8 王自軍,崔朝輝,劉恩,李志剛,程小茁;Web技術(shù)在股票查詢系統(tǒng)中的應(yīng)用及Java實(shí)現(xiàn)[J];石油化工高等學(xué)校學(xué)報(bào);2000年03期

相關(guān)博士學(xué)位論文 前1條

1 董永權(quán);Deep Web數(shù)據(jù)集成關(guān)鍵問(wèn)題研究[D];山東大學(xué);2010年

相關(guān)碩士學(xué)位論文 前1條

1 成文麗;基于決策樹的數(shù)據(jù)挖掘算法的技術(shù)研究[D];太原理工大學(xué);2003年

本文編號(hào)：2279329