【摘要】：隨著Internet的發(fā)展，Web正在加速地“深化”，，Web可以簡單地分為兩部分：Surface Web和Deep Web。前者是指通過超鏈接就可以被傳統(tǒng)搜索引擎搜索到的頁面的集合；后者普遍被認為是網(wǎng)絡(luò)中可訪問的在線數(shù)據(jù)庫。與Surface Web的信息相比，Deep Web中所包含的信息數(shù)據(jù)量更大、信息質(zhì)量更好、專業(yè)性更強，因此日益成為人們獲取信息的主要途徑之一。由于Deep Web中大量的信息被鎖定在數(shù)據(jù)庫內(nèi)，而許多網(wǎng)頁也是通過響應(yīng)具體的查詢動態(tài)生成的，所以實現(xiàn)對Deep Web或WDB（Web數(shù)據(jù)庫）的檢索，不僅將大大擴充現(xiàn)有搜索引擎的搜索能力，更為人們方便地進行信息查找提供了便捷的手段。 WDB查詢接口是我們訪問和檢索WDB的唯一路徑，每個查詢接口對應(yīng)于不同的查詢模式，用戶通過填寫不同的查詢接口并提交請求，從而發(fā)現(xiàn)合適的信息。但是隨著JavaScript、Ajax等動態(tài)腳本技術(shù)的廣泛應(yīng)用，查詢接口的復(fù)雜性也在逐漸增加，另外網(wǎng)上有眾多的WDB，而且其包含的數(shù)據(jù)也是多種多樣的，所以快速識別WDB這類動態(tài)查詢接口的特征、發(fā)現(xiàn)接口內(nèi)各元素之間的約束關(guān)系、實現(xiàn)接口特征的量化表示并對特定領(lǐng)域的WDB數(shù)據(jù)的特征進行定量描述和抽取是實現(xiàn)對WDB自動訪問和提高傳統(tǒng)搜索引擎搜索能力的關(guān)鍵步驟。 本文針對以上問題，主要以WDB特征為主線研究了WDB查詢接口和WDB數(shù)據(jù)特征的表示方法、Web數(shù)據(jù)庫采樣、WDB查詢接口和WDB數(shù)據(jù)特征的抽取方法。具體研究內(nèi)容包括： （1） WDB查詢接口和WDB數(shù)據(jù)特征的表示方法 本文將WDB數(shù)據(jù)屬性分為三類，即文本屬性、分類屬性和數(shù)值屬性。對于文本屬性，采取基于詞頻的特征表示；對于數(shù)值型屬性，基于數(shù)值屬性具有連續(xù)性的特點，且正態(tài)分布具有強大的普適性，我們采用正態(tài)分布的期望和偏差表示數(shù)值屬性的特征；對于分類型屬性采取基于統(tǒng)計的特征表示方法。在獲取以上各類屬性的特征后，將形成最終的特征向量。最后，因為本體具備良好的知識表示能力和推理能力，本研究采用本體的方法進行查詢接口的表示。 （2）基于貝葉斯模型的數(shù)據(jù)樣本抽取方法 為了實現(xiàn)對WDB特征的抽取，本文提出一種基于貝葉斯模型數(shù)據(jù)樣本抽取方法，該方法大體過程分為5個步驟：①構(gòu)建WDB初始查詢；②通過初始查詢獲得查詢結(jié)果；③將結(jié)果加入樣本集并對查詢結(jié)果進行分析，分別計算出各個特征詞的概率和條件概率，為下一個查詢做準備；④根據(jù)相似性原則判定獲取樣本的循環(huán)是否應(yīng)該被終止；⑤繼續(xù)下一步查詢，直到循環(huán)被終止。根據(jù)實驗對本文提出的采樣方法的合理性和有效性進行了驗證。 （3） WDB查詢接口和WDB數(shù)據(jù)特征的抽取方法 基于以上研究，本文給出了WDB查詢接口抽取方法和WDB數(shù)據(jù)特征抽取方法。首先，針對查詢接口的上下文信息、表單信息以及表單域之間的關(guān)聯(lián)信息給出相應(yīng)的抽取方法，分別為基于正則表達式的表單信息的抽取和基于Watir和Ajax的表單域關(guān)系的抽��；其次針對WDB數(shù)據(jù)特征的抽取，分別給出了基于詞頻的文本型數(shù)據(jù)特征抽取、基于正態(tài)分布的數(shù)值型數(shù)據(jù)特征抽取和基于記錄數(shù)量比值的分類型數(shù)據(jù)特征抽取。
[Abstract]:With the development of the Internet, the Web is speeding up the 鈥渄eepen鈥

本文編號：2425235