【摘要】：隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，Web成為各種應(yīng)用與研究的重要數(shù)據(jù)源之一，為信息檢索、數(shù)據(jù)挖掘等領(lǐng)域提供高質(zhì)量的數(shù)據(jù)。Web中一類重要的數(shù)據(jù)保存在可搜索網(wǎng)絡(luò)數(shù)據(jù)庫中，只有通過提交查詢請求，網(wǎng)站背后的數(shù)據(jù)才能按照一定的模板被擴展在網(wǎng)頁上，如電子商務(wù)網(wǎng)站的商品信息網(wǎng)頁，這類動態(tài)頁面稱為DeepWeb。Deep Web數(shù)據(jù)量大、發(fā)展迅猛、領(lǐng)域覆蓋全面、主題性強、信息結(jié)構(gòu)化程度高，具有很高的應(yīng)用價值。因此，如何從Deep Web中有效地抽取信息，幫助人們快速、準(zhǔn)確、有效的利用這些海量數(shù)據(jù)，具有重要的現(xiàn)實意義和廣闊的應(yīng)用前景。 Internet上的各個網(wǎng)站的信息相互獨立，Deep Web數(shù)據(jù)收集起來十分困難，在這種情況下，通常的搜索引擎發(fā)揮的作用微乎其微。通過手工書寫規(guī)則完成信息抽取的方式雖然準(zhǔn)確率高，技術(shù)門檻低，但是由于信息源的多樣化和潛在的改版風(fēng)險，手工方式無法滿足人們對信息獲取的需求。結(jié)合上述背景，可以發(fā)現(xiàn)Web信息自動抽取技術(shù)的研究與實現(xiàn)是一個非常迫切需要解決的問題。針對這一問題，本文在Web信息自動抽取技術(shù)方面，包括查詢接口判定的機器學(xué)習(xí)方法、Web數(shù)據(jù)自動抽取、數(shù)據(jù)項對齊等方面，進(jìn)行了深入而系統(tǒng)的研究，同時開發(fā)了Web信息自動抽取系統(tǒng)。本文具體的研究工作和研究成果如下： (1)采用基于決策樹的查詢接口自動判定方法。自動提取網(wǎng)頁標(biāo)簽的特征，形成特征集合，根據(jù)幾種分類算法的準(zhǔn)確率的比較和分析，選擇使用決策樹分類器對網(wǎng)頁標(biāo)簽進(jìn)行分類。 (2)在基于DOM相似度匹配的Web數(shù)據(jù)抽取算法的基礎(chǔ)上，提出針對抽取結(jié)果的過濾算法，提高抽取結(jié)果的準(zhǔn)確率。首先通過DOM相似度匹配算法抽取列表頁面，但是由于這種算法僅僅挖掘網(wǎng)頁的重復(fù)結(jié)構(gòu)，導(dǎo)致抽取的準(zhǔn)確率不高。在這個基礎(chǔ)上，提出基于熵的過濾算法過濾抽取結(jié)果，，并通過k-means聚類算法判斷噪音的熵值。 (3)在基于部分樹對齊的數(shù)據(jù)項對齊算法的基礎(chǔ)上，提出有效的對齊規(guī)則，提高數(shù)據(jù)項對齊的準(zhǔn)確率。 (4)在以上研究內(nèi)容的基礎(chǔ)上，設(shè)計開發(fā)了Web信息自動抽取系統(tǒng)，系統(tǒng)實現(xiàn)功能包括：1)給定多個數(shù)據(jù)源的情況下，自動判定查詢接口，并能自動填充并提交查詢請求。2)對查詢請求返回的列表頁面實現(xiàn)自動抽取，并對結(jié)果進(jìn)行過濾，提高了抽取的準(zhǔn)確率。3)將從列表頁面中抽取的數(shù)據(jù)記錄的數(shù)據(jù)項對齊，并保存。4)在存在分頁導(dǎo)航的情況下，實現(xiàn)分頁導(dǎo)航的自動連續(xù)抽取并將抽取結(jié)果保存。 論文創(chuàng)新點如下：(1)采用基于決策樹的查詢接口自動判定方法，使用決策樹分類模型自動判定查詢接口，達(dá)到較高的準(zhǔn)確率。(2)提出一種改進(jìn)的列表頁面數(shù)據(jù)自動抽取算法。在目前已有的基于DOM相似度的Web信息自動抽取算法的基礎(chǔ)上，提出基于熵的過濾算法，達(dá)到更高的準(zhǔn)確率。(3)提出一種改進(jìn)的數(shù)據(jù)項對齊算法，在已有的部分樹對齊算法的基礎(chǔ)上，增加對齊規(guī)則，使得數(shù)據(jù)項的對齊達(dá)到更高的準(zhǔn)確率。 實現(xiàn)表明，本文提出的技術(shù)方法可以在基本無人工干預(yù)下快速、自動地抽取列表頁面的豐富數(shù)據(jù)。
[Abstract]:......
【學(xué)位授予單位】：中國海洋大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2012
【分類號】：TP393.09

【參考文獻(xiàn)】

相關(guān)期刊論文 前8條

1 朱紹文,胡宏銀,王泉德,張大斌,黃浩,陸玉昌;決策樹采掘技術(shù)及發(fā)展趨勢[J];計算機工程;2000年10期

2 李道國,苗奪謙,俞冰;決策樹剪枝算法的研究與改進(jìn)[J];計算機工程;2005年08期

3 姜波;丁岳偉;;基于約束樹編輯距離與導(dǎo)航樹的信息采集[J];計算機工程;2009年14期

4 曾春,邢春曉,周立柱;基于內(nèi)容過濾的個性化搜索算法[J];軟件學(xué)報;2003年05期

5 馬軍;宋玲;韓曉暉;閆潑;;基于網(wǎng)頁上下文的Deep Web數(shù)據(jù)庫分類[J];軟件學(xué)報;2008年02期

6 滕皓,趙國毅,韓保勝;改進(jìn)決策樹的研究[J];濟南大學(xué)學(xué)報(自然科學(xué)版);2002年03期

7 張紅霞;;缺失值填充:基于信息增益的方法[J];計算機工程與設(shè)計;2006年24期

8 王自軍,崔朝輝,劉恩,李志剛,程小茁;Web技術(shù)在股票查詢系統(tǒng)中的應(yīng)用及Java實現(xiàn)[J];石油化工高等學(xué)校學(xué)報;2000年03期

相關(guān)博士學(xué)位論文 前1條

1 董永權(quán);Deep Web數(shù)據(jù)集成關(guān)鍵問題研究[D];山東大學(xué);2010年

相關(guān)碩士學(xué)位論文 前1條

1 成文麗;基于決策樹的數(shù)據(jù)挖掘算法的技術(shù)研究[D];太原理工大學(xué);2003年

本文編號：2279329