基于Spark的快速屬性圖聚集技術(shù)在引文網(wǎng)絡(luò)中的應(yīng)用
發(fā)布時間:2021-01-13 16:50
互聯(lián)網(wǎng)時代的高速發(fā)展,帶來的不僅是人們生活和經(jīng)濟的變化,還有這一系列互聯(lián)網(wǎng)應(yīng)用背后日益增加的數(shù)據(jù)量。圖作為一種強大的數(shù)據(jù)建模形式,在海量數(shù)據(jù)中占據(jù)著重要地位。隨著圖數(shù)據(jù)規(guī)模的擴大和人們對于海量數(shù)據(jù)價值潛力的重視,圖聚集技術(shù)應(yīng)運而生。圖聚集技術(shù)主要是針對大規(guī)模的圖數(shù)據(jù),將原始圖數(shù)據(jù)中的頂點和邊進行壓縮集合,使其抽象到更高層次,獲得一個能充分代表原圖的粗粒度超圖,以達到節(jié)省存儲空間、實現(xiàn)模糊查詢、解決隱私保護問題等目的。近年來,論文引用網(wǎng)絡(luò)領(lǐng)域飛速成長,各類文獻著作大量涌現(xiàn),論文數(shù)據(jù)呈爆炸式增長,致使引文網(wǎng)絡(luò)圖規(guī)模不斷擴大,而當(dāng)下對于引文網(wǎng)絡(luò)的研究主要側(cè)重于對其的分析預(yù)測以及可視化方面,對于圖聚集技術(shù)方面的研究較少,且傳統(tǒng)圖聚集技術(shù)大多都是基于“小圖”的聚集,基于此現(xiàn)狀,本文針對引文網(wǎng)絡(luò)本身的數(shù)據(jù)特點,引入AS(Aggregation Sharing)算法中先共享再聚集的思想,借助Spark平臺下GraphX的并行處理優(yōu)勢,以DBLP引文網(wǎng)絡(luò)中的數(shù)據(jù)集為實例,實現(xiàn)了快速屬性圖聚集技術(shù)在引文網(wǎng)絡(luò)中的應(yīng)用。本文首先介紹了課題的背景以及該課題在當(dāng)下的研究意義。與此同時,對當(dāng)下的圖聚集技術(shù)以及引文...
【文章來源】:中南財經(jīng)政法大學(xué)湖北省 211工程院校 教育部直屬院校
【文章頁數(shù)】:59 頁
【學(xué)位級別】:碩士
【部分圖文】:
圖0-1DBLP歷年文獻數(shù)量統(tǒng)計圖
圖0-2應(yīng)用架構(gòu)圖
圖的兩種表示:有向圖(左)與無向圖(右)
【參考文獻】:
期刊論文
[1]一種有效的加權(quán)圖聚集算法[J]. 胡寶麗,游進國,周翠蓮,王洋,崔紅波. 中國科學(xué)技術(shù)大學(xué)學(xué)報. 2016(03)
[2]大規(guī)模圖數(shù)據(jù)可達性索引技術(shù):現(xiàn)狀與展望[J]. 富麗貞,孟小峰. 計算機研究與發(fā)展. 2015(01)
[3]基于內(nèi)存計算的大規(guī)模圖數(shù)據(jù)管理研究[J]. 袁培森,舒欣,沙朝鋒,徐煥良. 華東師范大學(xué)學(xué)報(自然科學(xué)版). 2014(05)
[4]圖數(shù)據(jù)表示與壓縮技術(shù)綜述[J]. 張宇,劉燕兵,熊剛,賈焰,劉萍,郭莉. 軟件學(xué)報. 2014(09)
[5]圖聚集技術(shù)的現(xiàn)狀與挑戰(zhàn)[J]. 潘秋萍,游進國,張志朋,董朋志,胡寶麗. 軟件學(xué)報. 2015(01)
[6]一種高效的屬性圖聚類方法[J]. 吳燁,鐘志農(nóng),熊偉,陳犖,景寧. 計算機學(xué)報. 2013(08)
[7]在線圖處理:面向信息網(wǎng)絡(luò)的在線分析處理[J]. 徐洪宇,李川,唐常杰,李洋濤,代術(shù)成,楊寧. 計算機科學(xué)與探索. 2012(09)
[8]引文網(wǎng)絡(luò)的研究現(xiàn)狀及其發(fā)展綜述[J]. 吳海峰,孫一鳴. 計算機應(yīng)用與軟件. 2012(02)
[9]一種新的高效圖聚集算法[J]. 尹丹,高宏,鄒兆年. 計算機研究與發(fā)展. 2011(10)
[10]Graph OLAPing的建模、設(shè)計與實現(xiàn)[J]. 李川,趙磊,唐常杰,陳瑜,李靚,趙小明,劉小玲. 軟件學(xué)報. 2011(02)
博士論文
[1]基于科技引用網(wǎng)絡(luò)結(jié)構(gòu)算法的科學(xué)計量新方法研究[D]. 胡小君.浙江大學(xué) 2012
碩士論文
[1]基于有限內(nèi)存的大圖聚集算法研究[D]. 周翠蓮.昆明理工大學(xué) 2017
[2]基于Spark平臺的聚類算法的優(yōu)化與實現(xiàn)[D]. 曹鵬.北京交通大學(xué) 2016
[3]基于Spark的圖數(shù)據(jù)可達性分布式計算與應(yīng)用[D]. 江成琳.華中科技大學(xué) 2016
[4]加權(quán)圖聚集算法研究[D]. 胡寶麗.昆明理工大學(xué) 2016
[5]科學(xué)引文網(wǎng)絡(luò)分析及其應(yīng)用研究[D]. 張美平.電子科技大學(xué) 2015
[6]基于論文引用網(wǎng)絡(luò)的文獻推薦算法研究[D]. 姚遠.北京交通大學(xué) 2014
[7]基于條件熵的圖聚集算法研究[D]. 潘秋萍.昆明理工大學(xué) 2014
本文編號:2975222
【文章來源】:中南財經(jīng)政法大學(xué)湖北省 211工程院校 教育部直屬院校
【文章頁數(shù)】:59 頁
【學(xué)位級別】:碩士
【部分圖文】:
圖0-1DBLP歷年文獻數(shù)量統(tǒng)計圖
圖0-2應(yīng)用架構(gòu)圖
圖的兩種表示:有向圖(左)與無向圖(右)
【參考文獻】:
期刊論文
[1]一種有效的加權(quán)圖聚集算法[J]. 胡寶麗,游進國,周翠蓮,王洋,崔紅波. 中國科學(xué)技術(shù)大學(xué)學(xué)報. 2016(03)
[2]大規(guī)模圖數(shù)據(jù)可達性索引技術(shù):現(xiàn)狀與展望[J]. 富麗貞,孟小峰. 計算機研究與發(fā)展. 2015(01)
[3]基于內(nèi)存計算的大規(guī)模圖數(shù)據(jù)管理研究[J]. 袁培森,舒欣,沙朝鋒,徐煥良. 華東師范大學(xué)學(xué)報(自然科學(xué)版). 2014(05)
[4]圖數(shù)據(jù)表示與壓縮技術(shù)綜述[J]. 張宇,劉燕兵,熊剛,賈焰,劉萍,郭莉. 軟件學(xué)報. 2014(09)
[5]圖聚集技術(shù)的現(xiàn)狀與挑戰(zhàn)[J]. 潘秋萍,游進國,張志朋,董朋志,胡寶麗. 軟件學(xué)報. 2015(01)
[6]一種高效的屬性圖聚類方法[J]. 吳燁,鐘志農(nóng),熊偉,陳犖,景寧. 計算機學(xué)報. 2013(08)
[7]在線圖處理:面向信息網(wǎng)絡(luò)的在線分析處理[J]. 徐洪宇,李川,唐常杰,李洋濤,代術(shù)成,楊寧. 計算機科學(xué)與探索. 2012(09)
[8]引文網(wǎng)絡(luò)的研究現(xiàn)狀及其發(fā)展綜述[J]. 吳海峰,孫一鳴. 計算機應(yīng)用與軟件. 2012(02)
[9]一種新的高效圖聚集算法[J]. 尹丹,高宏,鄒兆年. 計算機研究與發(fā)展. 2011(10)
[10]Graph OLAPing的建模、設(shè)計與實現(xiàn)[J]. 李川,趙磊,唐常杰,陳瑜,李靚,趙小明,劉小玲. 軟件學(xué)報. 2011(02)
博士論文
[1]基于科技引用網(wǎng)絡(luò)結(jié)構(gòu)算法的科學(xué)計量新方法研究[D]. 胡小君.浙江大學(xué) 2012
碩士論文
[1]基于有限內(nèi)存的大圖聚集算法研究[D]. 周翠蓮.昆明理工大學(xué) 2017
[2]基于Spark平臺的聚類算法的優(yōu)化與實現(xiàn)[D]. 曹鵬.北京交通大學(xué) 2016
[3]基于Spark的圖數(shù)據(jù)可達性分布式計算與應(yīng)用[D]. 江成琳.華中科技大學(xué) 2016
[4]加權(quán)圖聚集算法研究[D]. 胡寶麗.昆明理工大學(xué) 2016
[5]科學(xué)引文網(wǎng)絡(luò)分析及其應(yīng)用研究[D]. 張美平.電子科技大學(xué) 2015
[6]基于論文引用網(wǎng)絡(luò)的文獻推薦算法研究[D]. 姚遠.北京交通大學(xué) 2014
[7]基于條件熵的圖聚集算法研究[D]. 潘秋萍.昆明理工大學(xué) 2014
本文編號:2975222
本文鏈接:http://sikaile.net/kejilunwen/ruanjiangongchenglunwen/2975222.html
最近更新
教材專著