隨著互聯(lián)網(wǎng)和各個(gè)行業(yè)不斷發(fā)展,數(shù)據(jù)也呈爆炸性增長(zhǎng)。大數(shù)據(jù)環(huán)境下如何快速?gòu)暮Ａ繑?shù)據(jù)中找到有價(jià)值的信息,并高效地從中抽取知識(shí)形成圖譜是亟待解決的問(wèn)題。本文分析了面向事件知識(shí)圖譜和面向篇章理解知識(shí)圖譜整個(gè)構(gòu)建過(guò)程,結(jié)合現(xiàn)有技術(shù)設(shè)計(jì)了多種并行數(shù)據(jù)處理方法,將這些方法應(yīng)用到圖譜構(gòu)建過(guò)程中各個(gè)階段。本文的主要工作如下:(1)數(shù)據(jù)采集階段,為了快速采集數(shù)據(jù)和對(duì)數(shù)據(jù)進(jìn)行初步處理,設(shè)計(jì)并實(shí)現(xiàn)了一種基于主從模式的分布式數(shù)據(jù)采集架構(gòu),架構(gòu)中各節(jié)點(diǎn)以消息隊(duì)列為消息中間件進(jìn)行通信和數(shù)據(jù)傳遞,使用該架構(gòu)能靈活地配置節(jié)點(diǎn)和高效地進(jìn)行數(shù)據(jù)采集。在文中實(shí)驗(yàn)環(huán)境下相比單節(jié)點(diǎn)采集效率能夠提升約4倍;(2)知識(shí)抽取階段,從采集的篇章/事件數(shù)據(jù)中抽取實(shí)體和關(guān)系。為應(yīng)對(duì)抽取過(guò)程中存在的多種算法和不同大小的數(shù)據(jù)集,基于Spark和消息隊(duì)列設(shè)計(jì)了三種數(shù)據(jù)并行處理方式。實(shí)驗(yàn)表明,在文中實(shí)驗(yàn)環(huán)境下,根據(jù)不同算法場(chǎng)景合理地選擇并行化方法,相比單節(jié)點(diǎn)處理能提高知識(shí)抽取效率約13倍;(3)知識(shí)表示階段,為解決傳統(tǒng)知識(shí)表示方法的不足,采用了將知識(shí)圖譜映射到向量空間的表示學(xué)習(xí)方法。分析了現(xiàn)有分布式深度學(xué)習(xí)框架,并將其應(yīng)用到表示學(xué)習(xí)和深度學(xué)習(xí)模型訓(xùn)練...

【文章頁(yè)數(shù)】：118 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖2-1Kafka基礎(chǔ)組件及架構(gòu)

第二章并行技術(shù)及知識(shí)圖譜構(gòu)建分析7第二章并行技術(shù)及知識(shí)圖譜構(gòu)建分析知識(shí)圖譜構(gòu)建過(guò)程中涉及多個(gè)階段和多種算法，本章首先對(duì)并行處理技術(shù)中的分布式消息隊(duì)列和并行計(jì)算框架做簡(jiǎn)要介紹，然后對(duì)面向事件知識(shí)圖譜和面向篇章理解知識(shí)圖譜構(gòu)建過(guò)程做簡(jiǎn)要分析。2.1分布式消息隊(duì)列消息隊(duì)列常在分布式系統(tǒng)....

圖2-2RabbitMQ基本結(jié)構(gòu)

第二章并行技術(shù)及知識(shí)圖譜構(gòu)建分析9圖2-2RabbitMQ基本結(jié)構(gòu)RabbitMQ同其他消息隊(duì)列類(lèi)似，由生產(chǎn)者提交消息到Broker進(jìn)行消息存儲(chǔ)，隨后消費(fèi)者獲取消息進(jìn)行處理，隊(duì)列中有以下一些基本概念：Message：由消息頭和消息體兩部分組成，消息頭有路由鍵、消息優(yōu)先級(jí)等屬性，消....

圖2-3Spark計(jì)算圖劃分階段劃分是根據(jù)最后的Action向前回溯，并根據(jù)依賴關(guān)系進(jìn)行劃分，劃分過(guò)程如圖2-3所示

電子科技大學(xué)碩士學(xué)位論文12依據(jù)RDD分區(qū)數(shù)生成多個(gè)任務(wù)（Task），集群計(jì)算節(jié)點(diǎn)通過(guò)調(diào)度器獲取任務(wù)從而實(shí)現(xiàn)并行計(jì)算。圖2-3Spark計(jì)算圖劃分階段劃分是根據(jù)最后的Action向前回溯，并根據(jù)依賴關(guān)系進(jìn)行劃分，劃分過(guò)程如圖2-3所示。圖中從最后的Action類(lèi)算子reduceB....

圖2-4Spark組件ClusterManager：當(dāng)以Standlone模式啟動(dòng)集群時(shí)，主要對(duì)集群中資源進(jìn)行管

第二章并行技術(shù)及知識(shí)圖譜構(gòu)建分析13做程序的開(kāi)發(fā)和調(diào)試；（2）Standlone：以主從結(jié)構(gòu)運(yùn)行，集群中的資源管理和調(diào)度都由Spark原生程序完成；（3）Mesos/YARN：集群?jiǎn)?dòng)后的資源管理由Mesos/YARN框架負(fù)責(zé)，對(duì)于任務(wù)調(diào)度和計(jì)算交給Spark框架。Spark集群....

本文編號(hào)：4037248