【摘要】：如今,互聯(lián)網(wǎng)技術(shù)的發(fā)展日新月異,互聯(lián)網(wǎng)已經(jīng)逐步滲透到了人們的生活之中,并成為了人們獲取信息、傳播消息的重要渠道。伴隨著Web中信息的爆炸式增長與迅速傳播,Web已經(jīng)成為了一個重要信息源,這些蘊含在Web中的信息有著重要的研究意義與價值。對Web中的海量數(shù)據(jù)進行分析、挖掘、處理,可以獲取豐富的信息價值,這些信息可以被集成在如市場情報分析、輿論分析以及電子商務等系統(tǒng)中,為人們提供深度信息服務。 Web按其所蘊含信息的“深度”可劃分為Surface Web和Deep Web。Surface Web (?)旨可以通過URL鏈接而被傳統(tǒng)搜索引擎搜索到的頁面。Deep Web是指Web中可被訪問的在線數(shù)據(jù)庫,它們的內(nèi)容存儲在真實的數(shù)據(jù)庫中。這些內(nèi)容只有在通過查詢接口進行查詢時才會由Web服務器動態(tài)生成頁面并把結(jié)果頁面返回給訪問者。 本文的研究對象是Web實體活動。所謂Web實體活動,即一個確定的實體,在一個確定的時間和一個確定的地點所做出的一個確定的活動。Web實體活動的集合便構(gòu)成了Web實體的蹤跡。Web實體蹤跡具有重要的分析價值,比如就業(yè)市場情報分析中,一個企業(yè)的發(fā)展蹤跡,對于求職者具有很好的參考價值。 不同于傳統(tǒng)集成系統(tǒng)研究對象主要來自于Deep Web頁面中較為結(jié)構(gòu)化的部分,Web實體活動集成系統(tǒng)所研究的對象主要來源于Web頁面中的無結(jié)構(gòu)化文本片段,通過活動抽取從自然語句中獲取Web實體活動信息,并將其轉(zhuǎn)化為結(jié)構(gòu)化模式記錄。 本文主要研究Web實體活動融合關(guān)鍵技術(shù)。作為Web實體活動集成的最后一個步驟,Web實體活動融合將抽取所得的Web實體活動記錄中指向同一Web實體活動的不同表象記錄進行整合,得到一個完整準確的實體活動記錄。 Web實體活動融合包含兩個主要部分,一個是Web實體活動重復記錄檢測,另一個是Web實體活動真值發(fā)現(xiàn)。前者將指向同一Web實體活動的不同表象記錄篩選出來,為Web實體活動真值發(fā)現(xiàn)服務,通過解決數(shù)據(jù)沖突、補充缺失數(shù)據(jù)并發(fā)現(xiàn)真值,最終得到完整準確的記錄。本文針對這兩個部分展開研究,并分別提出針對Web實體活動的方法,主要工作如下： 1.基于K-means聚類與SVM分類技術(shù)對Web實體活動記錄進行重復檢測,通過計算兩個記錄在每個維度上的相似度來獲取他們的比較向量,將重復檢測問題轉(zhuǎn)化為向量分類問題。在獲取比較向量后,先通過聚類獲取一定的樣本集合,然后使用該樣本集合訓練SVM分類器。本文通過觀察Web實體活動問題特征,在結(jié)合傳統(tǒng)計算方法的基礎上,利用句子的結(jié)構(gòu)特征來計算比較向量并使用加權(quán)歐幾里得距離公式改進了聚類效果,最后采用迭代式分類方法對比較向量進行了分類。 2.提出一種基于馬爾科夫邏輯網(wǎng)的Web實體活動真值發(fā)現(xiàn)方法。本方法利用馬爾科夫邏輯網(wǎng)能夠處理不確定性以及不完整甚至矛盾的知識的特性,在考慮傳統(tǒng)數(shù)據(jù)融合特征的基礎之上,結(jié)合維度間的語義聯(lián)系,制定推理規(guī)則,來達到發(fā)現(xiàn)真值的目的,提高了Web實體活動真值發(fā)現(xiàn)的準確度。
[Abstract]:......
【學位授予單位】：山東大學
【學位級別】：碩士
【學位授予年份】：2012
【分類號】：TP393.09

【參考文獻】

相關(guān)期刊論文 前1條

1 董旭,魏振軍;一種加權(quán)歐氏距離聚類方法[J];信息工程大學學報;2005年01期

，

本文編號：2319869