【摘要】：文本型Web內(nèi)容(Textual Web Content,TWC)包含電子郵件、網(wǎng)頁(yè)新聞等。以TWC文檔中實(shí)體關(guān)聯(lián)為基礎(chǔ),可完成數(shù)據(jù)獲取、關(guān)系強(qiáng)度評(píng)估、社交網(wǎng)絡(luò)分析等任務(wù)。隱含實(shí)體關(guān)聯(lián)(Latent Entity Association,LEA)表示兩個(gè)實(shí)體通過(guò)不同TWC文檔中的中間實(shí)體間接地產(chǎn)生關(guān)聯(lián)。發(fā)現(xiàn)并利用LEA有利于改善基于實(shí)體關(guān)聯(lián)的分析方法的結(jié)果,但需要解決這些問題。(1)理論角度:TWC數(shù)據(jù)中實(shí)體關(guān)聯(lián)的建模、實(shí)體關(guān)聯(lián)的評(píng)估及排序。LEA是不確定的,需要對(duì)這種不確定性知識(shí)進(jìn)行表示和推理。并非所有的LEA都對(duì)后續(xù)的任務(wù)有價(jià)值,因此需要對(duì)LEA按強(qiáng)度進(jìn)行排序。(2)應(yīng)用角度:TWC數(shù)據(jù)的獲取、交互式系統(tǒng)。通過(guò)獲取互聯(lián)網(wǎng)中最新的TWC文檔而分析得出的LEA將具有更好的時(shí)效性。交互式系統(tǒng)應(yīng)支持由用戶自定義TWC數(shù)據(jù)和目標(biāo)實(shí)體,并將分析過(guò)程的各步驟可視化結(jié)果展示給用戶。從理論的角度,本文重點(diǎn)研究了 TWC數(shù)據(jù)中實(shí)體關(guān)聯(lián)的建模和實(shí)體關(guān)聯(lián)的評(píng)估及排序,分為三方面:(1)本文給出了LEA的定義并提出了實(shí)體關(guān)聯(lián)貝葉斯網(wǎng)(Entity Association Bayesian Network,EABN)以對(duì)LEA的不確定性進(jìn)行建模。EABN模型將實(shí)體視作變量,使用有向無(wú)環(huán)圖表達(dá)實(shí)體間的相互依賴,使用條件概率表則量化實(shí)體間的相互依賴。(2)本文提出了 SBIC策略以加速EABN的結(jié)構(gòu)學(xué)習(xí)。在EABN的結(jié)構(gòu)選擇過(guò)程中,自組織映射可利用TWC中實(shí)體的稀疏性將一個(gè)TWC數(shù)據(jù)集劃分為若干個(gè)子集,我們不斷地選擇某個(gè)子集來(lái)評(píng)估候選結(jié)構(gòu)中的某條邊。(3)本文提出的EABN模型可通過(guò)概率推理按強(qiáng)度排序LEA。通過(guò)EABN概率推理產(chǎn)生的實(shí)體關(guān)聯(lián)列表中大部分是LEA,每個(gè)實(shí)體關(guān)聯(lián)涉及的兩個(gè)實(shí)體在隨機(jī)子集中的實(shí)例數(shù)比值的標(biāo)準(zhǔn)差隨著EABN排名增大而增大;通過(guò)EABN概率推理也可以找出沒有出現(xiàn)在新TWC數(shù)據(jù)中,但與新TWC數(shù)據(jù)相關(guān)的實(shí)體。從應(yīng)用的角度,本文設(shè)計(jì)并實(shí)現(xiàn)了 TWC數(shù)據(jù)的獲取系統(tǒng)和交互式系統(tǒng):(1)本文開發(fā)了一個(gè)網(wǎng)絡(luò)爬蟲以獲取互聯(lián)網(wǎng)中最新的TWC文檔。該網(wǎng)絡(luò)爬蟲通過(guò)搜索引擎的自定義查詢獲取歷史網(wǎng)頁(yè)網(wǎng)址列表;使用PhantomJS執(zhí)行復(fù)雜地頁(yè)面渲染;爬蟲獲取的數(shù)據(jù)存儲(chǔ)在MongoDB數(shù)據(jù)庫(kù)。(2)本文開發(fā)的交互式系統(tǒng)支持自定義以TWC文檔和目標(biāo)實(shí)體、分析結(jié)果可視化和持久化,以及跨平臺(tái)、跨終端等特性。
【圖文】：

夠產(chǎn)生Ｇ的多個(gè)變體并分別計(jì)算其ＳＢＩＣ評(píng)分。然后算法選擇ＳＢＩＣ評(píng)分最高的變逡逑體作為新的基準(zhǔn)結(jié)構(gòu)并繼續(xù)產(chǎn)生其變體及ＳＢＩＣ評(píng)分，直到無(wú)法找到一個(gè)ＳＢＩＣ評(píng)逡逑分更高的變體為止。算法２．３展示了上述過(guò)程。圖２．３展示了算法２．３的執(zhí)行流程。逡逑算法２．３獲得ＳＢＩＣ評(píng)分最高的ＥＡＢＮ結(jié)構(gòu)逡逑輸入：逡逑Ｂｅ＝邋（Ｇｅ，邋Ｐｅ），邋Ｇｅ＝邋（Ｖ，邋Ｅ）逡逑Ｇｃ，邋ＥＡＢＮ邋５ｅ初始的空結(jié)構(gòu)逡逑輸出：逡逑Ｇｃ，邋ＳＢＩＣ評(píng)分最高的的結(jié)構(gòu)逡逑１．

ＥＡＢＮ包含個(gè)｜＾１節(jié)點(diǎn)和｜￡｜條有向弧。算法可向一個(gè)無(wú)有向弧的ＤＡＧ添加晝＊逡逑（ｉｈ－１）條有向弧，再考慮不與己有的間條有向弧重復(fù)，則存在ｍ＊邋（Ｗ－１）邋－｜句逡逑種添加有向弧的變體。添加或翻轉(zhuǎn)有向弧后還可能導(dǎo)致成環(huán)，需要忽略這些成環(huán)逡逑的變體。在每一輪迭代時(shí)，我們只能刪除或翻轉(zhuǎn)己有的閻條有向弧，所以刪除一逡逑條有向弧的變體是悶個(gè)，翻轉(zhuǎn)一條有向弧的變體也是間個(gè)。每一輪迭代，需要處逡逑理增加，刪除，翻轉(zhuǎn)有向弧的變體共（ｍ＊邋（ｉｈ－１）－間）＋間＋間＝（ｍ－ｉ）邋＋間逡逑個(gè)，假設(shè)迭代了外輪才找到最大值，則算法２．３的時(shí)間復(fù)雜度為？（凡㈨２）。逡逑算法２．３是一種簡(jiǎn)單的貪心搜索算法，也稱為爬山算法，該算法每次從當(dāng)前解逡逑的臨近解空間中選擇一個(gè)最優(yōu)解作為當(dāng)前解，直到達(dá)到一個(gè)局部最優(yōu)解。爬山算逡逑法主要缺點(diǎn)是會(huì)陷入局部最優(yōu)解，而不一定能搜索到全局最優(yōu)解。本文采用爬山逡逑法做結(jié)構(gòu)搜索的原因有三點(diǎn)。（１）爬山法計(jì)算量較小，，適用于處理ＴＷＣ中海量的逡逑實(shí)體關(guān)聯(lián)。（２）本文在構(gòu)建和應(yīng)用ＥＡＢＮ過(guò)程中使用的爬山法、ＢＩＣ評(píng)分、極大逡逑
【學(xué)位授予單位】：云南大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2019
【分類號(hào)】：TP391.1;TP393.09

【參考文獻(xiàn)】

相關(guān)期刊論文 前3條

1 李佳欣;潘偉;;PhantomJS在Web自動(dòng)化測(cè)試中的應(yīng)用[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2013年18期

2 吳永輝;王曉龍;丁宇新;徐軍;郭鴻志;;基于主題的自適應(yīng)、在線網(wǎng)絡(luò)熱點(diǎn)發(fā)現(xiàn)方法及新聞推薦系統(tǒng)[J];電子學(xué)報(bào);2010年11期

3 俞士汶,段慧明,朱學(xué)鋒,孫斌;北京大學(xué)現(xiàn)代漢語(yǔ)語(yǔ)料庫(kù)基本加工規(guī)范[J];中文信息學(xué)報(bào);2002年05期

本文編號(hào)：2602931