隨著互聯(lián)網(wǎng)和各個行業(yè)不斷發(fā)展,數(shù)據(jù)也呈爆炸性增長。大數(shù)據(jù)環(huán)境下如何快速從海量數(shù)據(jù)中找到有價值的信息,并高效地從中抽取知識形成圖譜是亟待解決的問題。本文分析了面向事件知識圖譜和面向篇章理解知識圖譜整個構(gòu)建過程,結(jié)合現(xiàn)有技術(shù)設(shè)計了多種并行數(shù)據(jù)處理方法,將這些方法應(yīng)用到圖譜構(gòu)建過程中各個階段。本文的主要工作如下:(1)數(shù)據(jù)采集階段,為了快速采集數(shù)據(jù)和對數(shù)據(jù)進行初步處理,設(shè)計并實現(xiàn)了一種基于主從模式的分布式數(shù)據(jù)采集架構(gòu),架構(gòu)中各節(jié)點以消息隊列為消息中間件進行通信和數(shù)據(jù)傳遞,使用該架構(gòu)能靈活地配置節(jié)點和高效地進行數(shù)據(jù)采集。在文中實驗環(huán)境下相比單節(jié)點采集效率能夠提升約4倍;(2)知識抽取階段,從采集的篇章/事件數(shù)據(jù)中抽取實體和關(guān)系。為應(yīng)對抽取過程中存在的多種算法和不同大小的數(shù)據(jù)集,基于Spark和消息隊列設(shè)計了三種數(shù)據(jù)并行處理方式。實驗表明,在文中實驗環(huán)境下,根據(jù)不同算法場景合理地選擇并行化方法,相比單節(jié)點處理能提高知識抽取效率約13倍;(3)知識表示階段,為解決傳統(tǒng)知識表示方法的不足,采用了將知識圖譜映射到向量空間的表示學(xué)習(xí)方法。分析了現(xiàn)有分布式深度學(xué)習(xí)框架,并將其應(yīng)用到表示學(xué)習(xí)和深度學(xué)習(xí)模型訓(xùn)練...

【文章頁數(shù)】：118 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖2-1Kafka基礎(chǔ)組件及架構(gòu)

第二章并行技術(shù)及知識圖譜構(gòu)建分析7第二章并行技術(shù)及知識圖譜構(gòu)建分析知識圖譜構(gòu)建過程中涉及多個階段和多種算法，本章首先對并行處理技術(shù)中的分布式消息隊列和并行計算框架做簡要介紹，然后對面向事件知識圖譜和面向篇章理解知識圖譜構(gòu)建過程做簡要分析。2.1分布式消息隊列消息隊列常在分布式系統(tǒng)....

圖2-2RabbitMQ基本結(jié)構(gòu)

第二章并行技術(shù)及知識圖譜構(gòu)建分析9圖2-2RabbitMQ基本結(jié)構(gòu)RabbitMQ同其他消息隊列類似，由生產(chǎn)者提交消息到Broker進行消息存儲，隨后消費者獲取消息進行處理，隊列中有以下一些基本概念：Message：由消息頭和消息體兩部分組成，消息頭有路由鍵、消息優(yōu)先級等屬性，消....

圖2-3Spark計算圖劃分階段劃分是根據(jù)最后的Action向前回溯，并根據(jù)依賴關(guān)系進行劃分，劃分過程如圖2-3所示

電子科技大學(xué)碩士學(xué)位論文12依據(jù)RDD分區(qū)數(shù)生成多個任務(wù)（Task），集群計算節(jié)點通過調(diào)度器獲取任務(wù)從而實現(xiàn)并行計算。圖2-3Spark計算圖劃分階段劃分是根據(jù)最后的Action向前回溯，并根據(jù)依賴關(guān)系進行劃分，劃分過程如圖2-3所示。圖中從最后的Action類算子reduceB....

圖2-4Spark組件ClusterManager：當以Standlone模式啟動集群時，主要對集群中資源進行管

第二章并行技術(shù)及知識圖譜構(gòu)建分析13做程序的開發(fā)和調(diào)試；（2）Standlone：以主從結(jié)構(gòu)運行，集群中的資源管理和調(diào)度都由Spark原生程序完成；（3）Mesos/YARN：集群啟動后的資源管理由Mesos/YARN框架負責，對于任務(wù)調(diào)度和計算交給Spark框架。Spark集群....

本文編號：4037248