隨著如今已經(jīng)全面移動(dòng)互聯(lián)網(wǎng)時(shí)代和大數(shù)據(jù)時(shí)代,社交網(wǎng)絡(luò)和知識(shí)圖譜等領(lǐng)域已經(jīng)得到了越來(lái)越多的研究和關(guān)注,這些領(lǐng)域的數(shù)據(jù)彼此之間有著很強(qiáng)的關(guān)聯(lián)性,傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)在處理關(guān)聯(lián)性數(shù)據(jù)時(shí)要進(jìn)行大量的表連接從而造成效率低下以及時(shí)間開(kāi)銷(xiāo)很大。面對(duì)這樣的應(yīng)用場(chǎng)景所帶來(lái)的問(wèn)題,產(chǎn)生了圖數(shù)據(jù)庫(kù)技術(shù)并得到了飛速的發(fā)展。而Neo4j作為目前市場(chǎng)上名列前茅的圖數(shù)據(jù)庫(kù)以及圖計(jì)算領(lǐng)域的Spark GraphX在這樣的背景下都得到了越來(lái)越廣泛的應(yīng)用。但是,眾多的圖數(shù)據(jù)庫(kù)也為開(kāi)發(fā)人員帶來(lái)了不便,因此本文希望設(shè)計(jì)一個(gè)統(tǒng)一的、可擴(kuò)展的圖計(jì)算平臺(tái)框架,能夠覆蓋底層不同圖數(shù)據(jù)庫(kù),而統(tǒng)一上層的應(yīng)用和展示接口。本文以圖數(shù)據(jù)庫(kù)Neo4j和圖計(jì)算引擎Spark GraphX為例,設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)圖計(jì)算平臺(tái)框架。框架在整體設(shè)計(jì)層面劃分為持久模塊、算法模塊、控制模塊和應(yīng)用模塊。在模塊的實(shí)現(xiàn)代碼層面引入了簡(jiǎn)單工廠、工廠方法、抽象工廠設(shè)計(jì)模式,從而讓整個(gè)框架實(shí)現(xiàn)了解耦合與可擴(kuò)展。本文對(duì)框架的持久模塊與部分算法模塊的接口進(jìn)行了實(shí)現(xiàn),包括圖數(shù)據(jù)生成器、Neo4j導(dǎo)入器以及HDFS導(dǎo)入器,以及SSSP、PageRank、節(jié)點(diǎn)中心度、三角形計(jì)數(shù)等圖算... 

【文章來(lái)源】：北京化工大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：98 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖２－４?Ｎｅｏ４ｊ體系架構(gòu)層??Ｆｉｇ．２－４?Ｎｅｏ４ｊ?ａｒｃｈｉｔｅｃｔｕｒｅ?ｌａｙｅｒｓ??Ｎｅ〇４ｊ在應(yīng)用層通過(guò)Ｃｙｐｈｅｒ語(yǔ)言提供對(duì)外的服務(wù)

中間組件主要負(fù)責(zé)訪問(wèn)基礎(chǔ)組??件組織與管理的圖數(shù)據(jù)，并且基于這些圖數(shù)據(jù)進(jìn)行圖計(jì)算，并將算法運(yùn)行結(jié)果返回給??應(yīng)用組件，中間組件設(shè)計(jì)的算法計(jì)算決定了整個(gè)框架執(zhí)行效率和運(yùn)行速度；應(yīng)用組件??主要負(fù)責(zé)對(duì)中間組件提供的算法計(jì)算進(jìn)行服務(wù)請(qǐng)求，并且將圖計(jì)算結(jié)果進(jìn)行前端可視??化的展示，應(yīng)用組件的可視化展示決定了整個(gè)框架在計(jì)算結(jié)果的呈現(xiàn)上是否直觀�？�??架功能的組件劃分如下圖所示：??返回結(jié)果Ｉ垠回結(jié)果?????丨請(qǐng)求服務(wù)丨?丨請(qǐng)求服務(wù)丨??—?—?ｍＭ??＿＿＿＿＿＿?＿＿??圖３－１框架功能組件劃分．??Ｆｉｇ．３－１?Ｆｒａｍｅｗｏｒｋ?ｆｉｉｎｃｔｉｏｎａｌ?ｃｏｍｐｏｎｅｎｔ?ｄｉｖｉｓｉｏｎ??基礎(chǔ)組件主要細(xì)分成三種功能：數(shù)據(jù)導(dǎo)入、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)管理。其中數(shù)據(jù)導(dǎo)入??是將獲取到的圖數(shù)據(jù)按照特定的格式導(dǎo)入到圖數(shù)據(jù)庫(kù)Ｎｅ〇４ｊ中，比如要使用ＣＳＶ格??式的數(shù)據(jù)文件，同時(shí)指定數(shù)據(jù)文件的表頭、指定數(shù)據(jù)節(jié)點(diǎn)ＩＤ的數(shù)據(jù)類(lèi)型、指定圖中??的關(guān)系的起始節(jié)點(diǎn)和結(jié)束節(jié)點(diǎn)、指定關(guān)系的類(lèi)型；而對(duì)于超大規(guī)模的數(shù)據(jù)文件，將其??導(dǎo)入到分布式文件系統(tǒng)ＨＤＦＳ；數(shù)據(jù)存儲(chǔ)是將導(dǎo)入到Ｎｅ〇４ｊ的圖數(shù)據(jù)按照節(jié)點(diǎn)和邊的??不同類(lèi)型進(jìn)行分類(lèi)存儲(chǔ)，并且對(duì)于不同應(yīng)用場(chǎng)景的圖數(shù)據(jù)生成不同的連接圖進(jìn)行存儲(chǔ)；??２７??

?Ｉ??｜?ｃｒｅａｔｅＢｙＡｒｇｓ（）?＞｜??圍?ｃｒｅａｔｅＮｏＡｒｇｓ（）?．－略一?ｍｉ?；??＿??ｃａｌｃｕｌａｔｅ（ａｒｇｓ）－—？?－－－｜??ｔ?Ｈｏ?ｆ?＊｜?！???＾ｃｒｅａｔｅＢｙＡｒｇｓ（＾——一＾——???ｃｒｅａｔｅＮｏＡｒｇｓ?（〉—????；???＿?構(gòu)適‘???ｉ?ｃａｌｃｕｌａｔｅ（ａｒｇｓ）?！?１?順??????＿４——．．．．．．——?ｉ?—ｉ???｜?｜?；?！?ｉ?！?■??圖３－１２抽象工廠時(shí)序圖??Ｆｉｇ．３－１２?Ａｂｓｔｒａｃｔ?Ｍｅｔｈｏｄ?Ｓｅｑｕｅｎｃｅ?Ｄｉａｇｒａｍ??３．５?本章小結(jié)??本章論述了整個(gè)圖計(jì)算平臺(tái)在整體設(shè)計(jì)層面所涉及到的需求分析，包括整個(gè)框架??所需要完成的功能，將這些功能劃分為基礎(chǔ)組件、中間組件和應(yīng)用組件，同時(shí)對(duì)于完??４０??

【參考文獻(xiàn)】：
期刊論文
[1]基于Neo4j桂枝湯類(lèi)方知識(shí)圖譜的研究與實(shí)現(xiàn)[J]. 趙凱,王華星,施娜,薩震,許筱穎.  世界中醫(yī)藥. 2019(10)
[2]一種基于Neo4j圖數(shù)據(jù)庫(kù)的模糊查詢(xún)研究與實(shí)現(xiàn)[J]. 李雪.  計(jì)算機(jī)技術(shù)與發(fā)展. 2018(11)
[3]基于Neo4j的重點(diǎn)人超級(jí)關(guān)系分析應(yīng)用探索[J]. 劉婷,林君.  電信快報(bào). 2018(06)
[4]基于Neo4j圖數(shù)據(jù)庫(kù)的課程體系知識(shí)圖譜系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J]. 肖慶都,屈亮亮,侯霞.  電腦知識(shí)與技術(shù). 2017(36)
[5]基于深度學(xué)習(xí)與圖數(shù)據(jù)庫(kù)構(gòu)建中文商業(yè)知識(shí)圖譜的探索研究[J]. 王仁武,袁毅,袁旭萍.  圖書(shū)與情報(bào). 2016(01)
[6]基于Neo4j的電力大數(shù)據(jù)建模及分析[J]. 馬義松,武志剛.  電工電能新技術(shù). 2016(02)
[7]基于圖數(shù)據(jù)庫(kù)Neo4j的話單分析研究[J]. 黃冰倩,黃淑華,劉思言.  網(wǎng)絡(luò)安全技術(shù)與應(yīng)用. 2015(07)
[8]基于Neo4j處理大數(shù)據(jù)中元數(shù)據(jù)溯源的研究[J]. 靳永超,吳懷谷.  現(xiàn)代計(jì)算機(jī)(專(zhuān)業(yè)版). 2015(08)
[9]圖數(shù)據(jù)庫(kù)在網(wǎng)絡(luò)優(yōu)化系統(tǒng)中的應(yīng)用[J]. 席瀚英.  電信技術(shù). 2014(09)

碩士論文
[1]基于Neo4j的人員關(guān)聯(lián)分析與吸毒傾向預(yù)測(cè)平臺(tái)的設(shè)計(jì)[D]. 祁爍.山東大學(xué) 2019
[2]基于Neo4j圖數(shù)據(jù)庫(kù)構(gòu)建中學(xué)語(yǔ)文詩(shī)詞知識(shí)圖譜[D]. 馮俐.陜西師范大學(xué) 2019
[3]基于Neo4j的煤礦領(lǐng)域知識(shí)圖譜構(gòu)建及查詢(xún)方法研究[D]. 葉帥.中國(guó)礦業(yè)大學(xué) 2019
[4]基于SEF框架的代碼生成工具的設(shè)計(jì)與實(shí)現(xiàn)[D]. 趙麗娜.山東大學(xué) 2018
[5]基于Spark平臺(tái)支持空間數(shù)據(jù)管理的圖計(jì)算框架的研究[D]. 王昌圓.山東大學(xué) 2018
[6]基于Spark的子圖匹配算法研究與實(shí)現(xiàn)[D]. 郭騰.北京交通大學(xué) 2017
[7]基于Spark的社會(huì)網(wǎng)絡(luò)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 崔印昌.北京郵電大學(xué) 2017
[8]基于MapReduce的圖數(shù)據(jù)庫(kù)頻繁子圖挖掘[D]. 王凱.華中科技大學(xué) 2016
[9]基于NOSQL數(shù)據(jù)庫(kù)的路網(wǎng)最短路徑查詢(xún)及優(yōu)化研究[D]. 于海鵬.北京工業(yè)大學(xué) 2016
[10]基于Neo4j的大數(shù)據(jù)組織檢索研究與應(yīng)用[D]. 陸鵬.東南大學(xué) 2015



本文編號(hào)：3128240