隨著自媒體的蓬勃發(fā)展,任何人都可以在網(wǎng)上隨意發(fā)布和轉(zhuǎn)發(fā)信息,而這些信息可能是真實的,也可能是道聽途說或被故意篡改的。互聯(lián)網(wǎng)上數(shù)據(jù)的嚴重冗余和弱可信問題,導致現(xiàn)有數(shù)據(jù)的可用性很差。Bi-LSTM-CRF(Bi-Long Short Term Memory with Conditional Random Field Layer)網(wǎng)絡雖然能夠解決數(shù)據(jù)中命名實體識別的準確率問題,但不能滿足識別出的實體是可信的這一要求。文中提出一種基于編輯距離的多實體可信確認算法,并通過人物命名實體識別實例對該算法進行驗證。首先通過分布式爬蟲抓取同一個郵箱地址在多個搜索引擎上的Top N網(wǎng)頁記錄,然后使用經(jīng)過雙語語料訓練后的Bi-LSTM-CRF模型抽取每個頁面內(nèi)的人物命名實體,最后通過實體多參數(shù)融合確定郵箱所對應的人物命名實體。實驗結(jié)果表明,多實體可信確認算法能夠?qū)⑧]箱地址與郵箱真實主人的匹配準確率MRR(Mean Reciprocal Rank)提高到91.32%,相比只使用詞頻的算法其MRR提升了23.08%。實驗數(shù)據(jù)充分說明,多實體可信確認算法能很好地從弱可信數(shù)據(jù)中獲得強可信度的實體,降低海量數(shù)據(jù)中的低...

【文章頁數(shù)】：5 頁

【部分圖文】：

圖1MeTCa系統(tǒng)的整體架構(gòu)

多實體可信確認算法模型(Multi-EntityTrustedConfirmationAlgorithms,MeTCa)的整體框架如圖1所示,主要有3個階段:分布式弱可信數(shù)據(jù)獲取階段、命名實體識別階段和多參數(shù)融合可信確認階段。3.1數(shù)據(jù)獲取

圖2爬蟲的架構(gòu)圖

測試的郵箱地址來自國內(nèi)外各大高校公開的教師的郵箱地址,共1000個。通過自動化技術(shù)將郵箱地址分別輸入到百度、必應和谷歌三大搜索引擎的搜索框中,爬取相關(guān)弱可信數(shù)據(jù)。實驗使用3臺主機進行分布式爬取:一臺主機作為控制節(jié)點,從文件中獲取待爬取的郵箱地址,并將其傳遞給其余兩臺爬蟲節(jié)點下的....

圖3Bi-LSTM-CRF網(wǎng)絡的結(jié)構(gòu)

目標文本在進入模型識別前首先進行語種的識別,若網(wǎng)頁內(nèi)容中超過50%的字符為英文字母,則判斷該網(wǎng)頁為英文網(wǎng)頁,否則為中文網(wǎng)頁[15]。然后,將它們分別投入針對中文或英文的訓練的Bi-LSTM-CRF模型中進行實體識別。在區(qū)分語種后,實體的識別準確度得到了明顯的提升。其中,Bi-LS....

圖4有效實體占總實體的堆積圖

圖4中,橫坐標為排序前N的網(wǎng)頁頁面數(shù),左縱坐標為TopN頁面中的平均實體數(shù)(單位:個),右縱坐標為平均有效實體的占比。在Top30頁時,平均有效占比達到了最大值,即89%,后面的頁面抓取到的實體多為與郵箱地址相關(guān)度低的無效實體。因此,在實驗中采集數(shù)據(jù)時,選擇獲取三大引擎的To....

本文編號：3899542