發(fā)布時(shí)間：2017-08-22 18:39

  本文關(guān)鍵詞：基于Hadoop的Deep Web查詢結(jié)果自動(dòng)抽取研究

  更多相關(guān)文章： Deep Web查詢結(jié)果 DOM樹(shù) 模板 FIME算法 Hadoop

【摘要】：隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展與廣泛應(yīng)用，網(wǎng)絡(luò)提供給用戶的資源與日俱增。特別是不能被傳統(tǒng)搜索引擎通過(guò)靜態(tài)鏈接而獲取的海量信息資源規(guī)模增長(zhǎng)顯著，這部分資源稱為深層網(wǎng)（Deep Web）。關(guān)于Deep Web的研究，是近年來(lái)Web數(shù)據(jù)管理方向的研究熱點(diǎn)。 Deep Web中的信息是通過(guò)在特定查詢接口提交查詢后，以結(jié)果頁(yè)面的方式顯示，對(duì)Deep Web查詢結(jié)果進(jìn)行抽取，將信息資源進(jìn)行集成，使其以統(tǒng)一的模式進(jìn)行存儲(chǔ)，才能為用戶提供更好的、統(tǒng)一的索引服務(wù)。因此，Deep Web查詢結(jié)果抽取是Deep Web數(shù)據(jù)集成系統(tǒng)中的關(guān)鍵步驟。 本文主要對(duì)基于DOM樹(shù)結(jié)構(gòu)與模板方法相結(jié)合的抽取算法進(jìn)行了深入的研究，主要研究及成果如下： ①深入研究比較了幾種主要的抽取技術(shù)，重點(diǎn)對(duì)基于DOM樹(shù)結(jié)構(gòu)與基于模板的抽取算法進(jìn)行了詳細(xì)的介紹，并對(duì)各種技術(shù)在復(fù)雜性、適用范圍和自動(dòng)化程度等方面進(jìn)行了分析與比較； ②綜合基于DOM樹(shù)結(jié)構(gòu)與基于模板抽取算法的優(yōu)點(diǎn)，提出了基于DOM樹(shù)結(jié)構(gòu)與模板方法相結(jié)合的抽取算法FIME（Filtering, Iterating, Matching, andExtracting）算法，F(xiàn)IME算法在進(jìn)行DOM樹(shù)結(jié)構(gòu)比較之前，首先對(duì)頁(yè)面進(jìn)行預(yù)處理操作，使頁(yè)面遵守XHTML規(guī)則，同時(shí)清除頁(yè)面中對(duì)于抽取信息無(wú)用的標(biāo)簽及部分屬性元素，使得頁(yè)面更精簡(jiǎn)，以提高后續(xù)匹配算法的效率； ③針對(duì)基于DOM樹(shù)結(jié)構(gòu)抽取算法中回溯處理頁(yè)面中冗余迭代項(xiàng)導(dǎo)致匹配算法復(fù)雜度高的問(wèn)題，F(xiàn)IME在進(jìn)行匹配之前首先對(duì)頁(yè)面中的迭代項(xiàng)進(jìn)行合并，降低了后續(xù)匹配算法的時(shí)間復(fù)雜度； ④結(jié)合基于模板抽取算法的思想，F(xiàn)IME將在匹配算法中通過(guò)比較DOM樹(shù)結(jié)構(gòu)而獲得的待抽取數(shù)據(jù)的位置信息作為同一網(wǎng)站頁(yè)面的模板Wrapper，，對(duì)所有同源頁(yè)面進(jìn)行待抽取信息的自動(dòng)抽取，而不是對(duì)同源結(jié)構(gòu)相似的頁(yè)面做重復(fù)的處理，提高信息抽取的效率和自動(dòng)化程度。 由于Deep Web查詢結(jié)果頁(yè)面返回時(shí)為海量數(shù)據(jù)，基于單一節(jié)點(diǎn)的抽取算法存在計(jì)算瓶頸。目前，開(kāi)源的分布式系統(tǒng)基礎(chǔ)架構(gòu)Hadoop平臺(tái)已經(jīng)非常穩(wěn)定，因此，本文將FIME算法部署在Hadoop平臺(tái)中進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明FIME算法具有較高的抽取準(zhǔn)確率和執(zhí)行效率。
【關(guān)鍵詞】：Deep Web查詢結(jié)果 DOM樹(shù) 模板 FIME算法 Hadoop
【學(xué)位授予單位】：重慶大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類號(hào)】：TP391.3
【目錄】：

• 摘要3-4
• ABSTRACT4-8
• 1 緒論8-13
• 1.1 背景和意義8-10
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀10-11
• 1.3 本論文研究工作11-12
• 1.4 本章小結(jié)12-13
• 2 Hadoop 平臺(tái)概述13-20
• 2.1 Hadoop 平臺(tái)背景13
• 2.2 Hadoop 分布式文件系統(tǒng) HDFS13-16
• 2.2.1 HDFS 體系結(jié)構(gòu)13-15
• 2.2.2 HDFS 的工作流程15
• 2.2.3 HDFS 的特點(diǎn)15-16
• 2.3 Hadoop 的 MapReduce 計(jì)算框架16-19
• 2.3.1 MapReduce 模型16-17
• 2.3.2 MapReduce 的實(shí)現(xiàn)17-18
• 2.3.3 Shuffle 過(guò)程18-19
• 2.3.4 MapReduce 的特點(diǎn)19
• 2.4 本章小結(jié)19-20
• 3 Deep Web 信息抽取技術(shù)20-27
• 3.1 信息抽取技術(shù)歷史20
• 3.2 Deep Web 信息抽取技術(shù)20-25
• 3.2.1 基于 DOM 樹(shù)結(jié)構(gòu)的信息抽取21-23
• 3.2.2 基于模板的信息抽取23-24
• 3.2.3 基于視覺(jué)特征的信息抽取24
• 3.2.4 基于統(tǒng)計(jì)理論的信息抽取24-25
• 3.3 Deep Web 信息抽取技術(shù)分析25-26
• 3.4 本章小結(jié)26-27
• 4 基于 DOM 樹(shù)和模板方法相結(jié)合的 Deep Web 查詢結(jié)果抽取技術(shù)27-48
• 4.1 FIME 算法名詞解釋27-28
• 4.2 FIME 算法架構(gòu)28-30
• 4.3 清噪模塊30-31
• 4.4 迭代模塊31-34
• 4.5 匹配模塊34-37
• 4.6 抽取模塊37-40
• 4.7 基于 Hadoop 的 FIME 算法設(shè)計(jì)與實(shí)現(xiàn)40-47
• 4.7.1 清噪模塊分布式執(zhí)行算法41-44
• 4.7.2 抽取模塊分布式執(zhí)行算法44-47
• 4.8 本章小結(jié)47-48
• 5 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析48-57
• 5.1 實(shí)驗(yàn)數(shù)據(jù)與評(píng)價(jià)指標(biāo)48
• 5.2 集群環(huán)境48
• 5.3 實(shí)驗(yàn)結(jié)果及分析48-56
• 5.4 本章小結(jié)56-57
• 6 總結(jié)與展望57-60
• 6.1 本文總結(jié)57-58
• 6.2 工作展望58-60
• 致謝60-62
• 參考文獻(xiàn)62-66
• 附錄66
• A. 作者在攻讀碩士學(xué)位期間成果目錄66
• B. 作者在攻讀碩士學(xué)位期間參加的項(xiàng)目66

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 惲佳麗;何軍;黃厚寬;;基于語(yǔ)料庫(kù)的多詞單位抽取算法[J];北京交通大學(xué)學(xué)報(bào);2009年05期

2 喬磊;李存華;仲兆滿;王俊;劉冬冬;;基于規(guī)則的人物信息抽取算法的研究[J];南京師大學(xué)報(bào)(自然科學(xué)版);2012年04期

3 于琨,糜仲春,蔡慶生;可應(yīng)用于互聯(lián)網(wǎng)的自學(xué)習(xí)中文關(guān)鍵詞抽取算法[J];中國(guó)科學(xué)技術(shù)大學(xué)學(xué)報(bào);2002年03期

4 趙鵬;蔡慶生;王清毅;耿煥同;;一種基于復(fù)雜網(wǎng)絡(luò)特征的中文文檔關(guān)鍵詞抽取算法[J];模式識(shí)別與人工智能;2007年06期

5 胡志敏;;基于綜合權(quán)重的多文檔關(guān)鍵詞抽取算法[J];計(jì)算機(jī)與數(shù)字工程;2010年06期

6 袁曉峰;;基于詞語(yǔ)相關(guān)度的文檔主題抽取算法[J];成都大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年04期

7 沈媛媛;劉益成;鄭恭明;;利用VBA在Word中實(shí)現(xiàn)試卷的自動(dòng)生成[J];電腦學(xué)習(xí);2007年01期

8 傅繼彬;樊孝忠;毛金濤;余正濤;;基于語(yǔ)言特性的中文領(lǐng)域術(shù)語(yǔ)抽取算法[J];北京理工大學(xué)學(xué)報(bào);2010年03期

9 劉云峰;;基于標(biāo)簽路徑聚類的文本信息抽取算法[J];計(jì)算機(jī)工程;2010年12期

10 沈元一;鄭驍慶;顧軼靈;;基于語(yǔ)義的互聯(lián)網(wǎng)藥品信息抽取算法[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2011年01期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前4條

1 穆亞?wèn)|;周秉鋒;;基于信念傳播的圖像抽取算法[A];中國(guó)感光學(xué)會(huì)第七次全國(guó)會(huì)員代表大會(huì)暨學(xué)術(shù)年會(huì)和第七屆青年學(xué)術(shù)交流會(huì)論文摘要集[C];2006年

2 胡佳妮;郭軍;徐蔚然;;一種基于短文本的獨(dú)立語(yǔ)義特征抽取算法[A];全國(guó)網(wǎng)絡(luò)與信息安全技術(shù)研討會(huì)論文集（上冊(cè)）[C];2007年

3 周毅;;基于邏輯行列切分樹(shù)的表格數(shù)據(jù)抽取算法[A];第二十屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2003年

4 羅勇;周超;許超;;文本分類在商品廣告分類中的應(yīng)用[A];全國(guó)第五屆信號(hào)和智能信息處理與應(yīng)用學(xué)術(shù)會(huì)議�？�(第一冊(cè))[C];2011年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 沈元一;互聯(lián)網(wǎng)藥品信息抽取算法的研究[D];復(fù)旦大學(xué);2010年

2 周趙鵬;基于互聯(lián)網(wǎng)的構(gòu)件庫(kù)系統(tǒng)構(gòu)件描述信息抽取算法研究[D];華中科技大學(xué);2012年

3 韓雪嬌;英語(yǔ)試題關(guān)鍵詞抽取算法研究[D];北方工業(yè)大學(xué);2013年

4 丁溪源;基于大規(guī)模語(yǔ)料的中文新詞抽取算法的設(shè)計(jì)與實(shí)現(xiàn)[D];南京理工大學(xué);2011年

5 李興東;智能抽取算法在專家?guī)斐槿∠到y(tǒng)中的應(yīng)用研究[D];吉林大學(xué);2013年

6 柳凌燕;基于免疫規(guī)劃的圖像情感規(guī)則抽取算法的研究[D];太原理工大學(xué);2010年

7 張鵬;中文意見(jiàn)挖掘的特征層次構(gòu)建和抽取算法[D];重慶大學(xué);2010年

8 王敬普;基于包裝器模型的文本信息抽取算法研究[D];湖南大學(xué);2006年

9 皮珊;Web信息抽取系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];浙江工業(yè)大學(xué);2013年

10 李知穎;基于包裝器模型的信息抽取算法研究[D];東北師范大學(xué);2009年

本文編號(hào)：720791