基于大數(shù)據(jù)的目標關(guān)系圖譜系統(tǒng)設(shè)計與實現(xiàn)
發(fā)布時間:2021-08-04 14:30
隨著“大數(shù)據(jù)”時代的到來,我們正被數(shù)據(jù)所包圍,而傳統(tǒng)的數(shù)據(jù)處理和分析方式已經(jīng)無法滿足對指數(shù)級增長的數(shù)據(jù)以及各種各樣相互之間有依賴關(guān)系的數(shù)據(jù)的處理。面向大規(guī)模數(shù)據(jù)的挖掘和運用已經(jīng)滲透到當(dāng)今的每一個領(lǐng)域,而隨著各種關(guān)系網(wǎng)絡(luò)的增長,對網(wǎng)絡(luò)圖譜的分析和研究成為各界關(guān)注的熱點。本文瞄準軍事通信網(wǎng)絡(luò)圖譜的特殊性,軍事通信網(wǎng)絡(luò)中的圖關(guān)系數(shù)據(jù)與普通社交關(guān)系圖譜不同,它具有虛假、實時和隱蔽等特征,軍事目標之間的關(guān)系也更為復(fù)雜,依賴傳統(tǒng)網(wǎng)絡(luò)圖譜排序的PageRank方法極難準確表征目標的重要程度。為了更好的掌握軍事通信網(wǎng)絡(luò)中不同節(jié)點的重要性,瞄準軍事通信網(wǎng)絡(luò)各級單位關(guān)系中虛假信息和隱蔽信息等新特性,提出面向軍事通信網(wǎng)絡(luò)的MilitaryRank方法。同時針對傳統(tǒng)的依賴重要目標節(jié)點擴張的社區(qū)發(fā)現(xiàn)算法具有社區(qū)震蕩等問題,提出彈性中心擴張子團的社區(qū)發(fā)現(xiàn)方法。構(gòu)建基于Hadoop大數(shù)據(jù)平臺的目標關(guān)系圖譜挖掘系統(tǒng)框架,實現(xiàn)網(wǎng)絡(luò)圖譜節(jié)點排序和社區(qū)發(fā)現(xiàn)。本論文研究內(nèi)容及創(chuàng)新點如下:1、對Hadoop平臺整體架構(gòu)進行了研究,了解數(shù)據(jù)存儲層、資源管理器層和調(diào)度層各層之間的聯(lián)系。同時研究、搜集與歸納各種軍事通信網(wǎng)絡(luò)規(guī)則,了解...
【文章來源】:西安電子科技大學(xué)陜西省 211工程院校 教育部直屬院校
【文章頁數(shù)】:86 頁
【學(xué)位級別】:碩士
【部分圖文】:
HBase系統(tǒng)架構(gòu)
根據(jù)相似度從強到弱自底向上依次連接節(jié)點對,構(gòu)成樹狀圖(Dendrogram),然后選擇符合條件的分支位置進行橫切,形成社區(qū)。如圖 2.10:圖2.10 凝聚層次聚類概念圖Claust 等人的 CNM 算法[67]對 Newman 的快速貪心算法[68]進行改進,通過模塊度Q(Modularity)在每次迭代中的增量變化來作為橫向切分條件來合并節(jié)點對,當(dāng)模塊度的增量小于 0 時,結(jié)束迭代形成社區(qū)結(jié)構(gòu)。分裂層次聚類與凝聚法恰好相反,通過給定閾值找到連接關(guān)系最弱的節(jié)點對,并刪除他們之間的聯(lián)系,將網(wǎng)絡(luò)劃分為越來越小的子圖,此時連通的網(wǎng)絡(luò)構(gòu)成社區(qū)。Radicchi 算法[69]將邊聚系數(shù)作為閾值,迭代刪除邊聚系數(shù)最小的邊,判斷子圖是否符合強連通圖條件來輸出社區(qū)。Spectral 算法[70]則是根據(jù)特征向量找到最大特征值對應(yīng)的特征向量
LFR仿真網(wǎng)絡(luò)通信節(jié)點圖譜
【參考文獻】:
期刊論文
[1]基于改進加權(quán)PageRank的電子目標重要度評估方法[J]. 李政,祝利,高志揚. 指揮控制與仿真. 2016(03)
[2]戰(zhàn)場態(tài)勢信息量的一種度量方法[J]. 張東戈,孟輝,陶九陽. 指揮控制與仿真. 2014(01)
[3]鄰域粗糙化的啟發(fā)式重疊社區(qū)擴張方法[J]. 張澤華,苗奪謙,錢進. 計算機學(xué)報. 2013(10)
[4]基于MapReduce的分布式網(wǎng)絡(luò)數(shù)據(jù)聚類算法[J]. 陳東明,劉健,王冬琦,徐曉偉. 計算機工程. 2013(07)
[5]基于Hadoop的云計算算法研究[J]. 辛大欣,屈偉. 電子設(shè)計工程. 2013(03)
[6]基于MapReduce的快速Newman并行算法[J]. 唐艷琴,潘志松,吳君青. 華中科技大學(xué)學(xué)報(自然科學(xué)版). 2012(S1)
[7]基于作者權(quán)威值的論文價值預(yù)測算法[J]. 劉大有,薛銳青,齊紅. 自動化學(xué)報. 2012(10)
[8]有效改善標簽傳播算法魯棒性的途徑[J]. 季青松,趙郁忻,陳樂生,陳秀真,李生紅. 信息安全與通信保密. 2012(09)
[9]社會網(wǎng)絡(luò)中基于標簽傳播的社區(qū)發(fā)現(xiàn)新算法[J]. 趙卓翔,王軼彤,田家堂,周澤學(xué). 計算機研究與發(fā)展. 2011(S3)
[10]基于Hadoop的分布式搜索引擎關(guān)鍵技術(shù)[J]. 王俊生,施運梅,張仰森. 北京信息科技大學(xué)學(xué)報(自然科學(xué)版). 2011(04)
博士論文
[1]大規(guī)模社交網(wǎng)絡(luò)中局部興趣社區(qū)發(fā)現(xiàn)研究[D]. 尹紅軍.中國科學(xué)技術(shù)大學(xué) 2014
[2]若干社區(qū)發(fā)現(xiàn)算法研究[D]. 潘磊.南京大學(xué) 2014
碩士論文
[1]PyGel:基于DPark的分布式圖計算引擎的研究與實現(xiàn)[D]. 張杰.華南理工大學(xué) 2013
[2]基于改進PageRank算法的文獻價值評估方法研究[D]. 喬紅光.河北大學(xué) 2013
[3]基于標簽傳播的實時社區(qū)發(fā)現(xiàn)算法研究[D]. 信楠.浙江大學(xué) 2013
[4]基于MapReduce的個性化PageRank算法研究[D]. 劉記云.哈爾濱工程大學(xué) 2013
[5]社團劃分算法并行化研究[D]. 李尚英.山東師范大學(xué) 2012
[6]基于BSP的大規(guī)模圖處理系統(tǒng)中的任務(wù)調(diào)度與同步控制[D]. 袁方.東北大學(xué) 2012
[7]基于MapReduce的圖聚類算法的研究與實現(xiàn)[D]. 何國雄.湖南大學(xué) 2012
[8]基于hadoop的海量圖片存儲模型的分析和設(shè)計[D]. 李林.杭州電子科技大學(xué) 2011
[9]基于Hadoop平臺的社區(qū)發(fā)現(xiàn)算法研究[D]. 程鵬.東北大學(xué) 2011
[10]作戰(zhàn)模擬系統(tǒng)中軍事通信網(wǎng)絡(luò)建模研究[D]. 侯綠林.國防科學(xué)技術(shù)大學(xué) 2010
本文編號:3321865
【文章來源】:西安電子科技大學(xué)陜西省 211工程院校 教育部直屬院校
【文章頁數(shù)】:86 頁
【學(xué)位級別】:碩士
【部分圖文】:
HBase系統(tǒng)架構(gòu)
根據(jù)相似度從強到弱自底向上依次連接節(jié)點對,構(gòu)成樹狀圖(Dendrogram),然后選擇符合條件的分支位置進行橫切,形成社區(qū)。如圖 2.10:圖2.10 凝聚層次聚類概念圖Claust 等人的 CNM 算法[67]對 Newman 的快速貪心算法[68]進行改進,通過模塊度Q(Modularity)在每次迭代中的增量變化來作為橫向切分條件來合并節(jié)點對,當(dāng)模塊度的增量小于 0 時,結(jié)束迭代形成社區(qū)結(jié)構(gòu)。分裂層次聚類與凝聚法恰好相反,通過給定閾值找到連接關(guān)系最弱的節(jié)點對,并刪除他們之間的聯(lián)系,將網(wǎng)絡(luò)劃分為越來越小的子圖,此時連通的網(wǎng)絡(luò)構(gòu)成社區(qū)。Radicchi 算法[69]將邊聚系數(shù)作為閾值,迭代刪除邊聚系數(shù)最小的邊,判斷子圖是否符合強連通圖條件來輸出社區(qū)。Spectral 算法[70]則是根據(jù)特征向量找到最大特征值對應(yīng)的特征向量
LFR仿真網(wǎng)絡(luò)通信節(jié)點圖譜
【參考文獻】:
期刊論文
[1]基于改進加權(quán)PageRank的電子目標重要度評估方法[J]. 李政,祝利,高志揚. 指揮控制與仿真. 2016(03)
[2]戰(zhàn)場態(tài)勢信息量的一種度量方法[J]. 張東戈,孟輝,陶九陽. 指揮控制與仿真. 2014(01)
[3]鄰域粗糙化的啟發(fā)式重疊社區(qū)擴張方法[J]. 張澤華,苗奪謙,錢進. 計算機學(xué)報. 2013(10)
[4]基于MapReduce的分布式網(wǎng)絡(luò)數(shù)據(jù)聚類算法[J]. 陳東明,劉健,王冬琦,徐曉偉. 計算機工程. 2013(07)
[5]基于Hadoop的云計算算法研究[J]. 辛大欣,屈偉. 電子設(shè)計工程. 2013(03)
[6]基于MapReduce的快速Newman并行算法[J]. 唐艷琴,潘志松,吳君青. 華中科技大學(xué)學(xué)報(自然科學(xué)版). 2012(S1)
[7]基于作者權(quán)威值的論文價值預(yù)測算法[J]. 劉大有,薛銳青,齊紅. 自動化學(xué)報. 2012(10)
[8]有效改善標簽傳播算法魯棒性的途徑[J]. 季青松,趙郁忻,陳樂生,陳秀真,李生紅. 信息安全與通信保密. 2012(09)
[9]社會網(wǎng)絡(luò)中基于標簽傳播的社區(qū)發(fā)現(xiàn)新算法[J]. 趙卓翔,王軼彤,田家堂,周澤學(xué). 計算機研究與發(fā)展. 2011(S3)
[10]基于Hadoop的分布式搜索引擎關(guān)鍵技術(shù)[J]. 王俊生,施運梅,張仰森. 北京信息科技大學(xué)學(xué)報(自然科學(xué)版). 2011(04)
博士論文
[1]大規(guī)模社交網(wǎng)絡(luò)中局部興趣社區(qū)發(fā)現(xiàn)研究[D]. 尹紅軍.中國科學(xué)技術(shù)大學(xué) 2014
[2]若干社區(qū)發(fā)現(xiàn)算法研究[D]. 潘磊.南京大學(xué) 2014
碩士論文
[1]PyGel:基于DPark的分布式圖計算引擎的研究與實現(xiàn)[D]. 張杰.華南理工大學(xué) 2013
[2]基于改進PageRank算法的文獻價值評估方法研究[D]. 喬紅光.河北大學(xué) 2013
[3]基于標簽傳播的實時社區(qū)發(fā)現(xiàn)算法研究[D]. 信楠.浙江大學(xué) 2013
[4]基于MapReduce的個性化PageRank算法研究[D]. 劉記云.哈爾濱工程大學(xué) 2013
[5]社團劃分算法并行化研究[D]. 李尚英.山東師范大學(xué) 2012
[6]基于BSP的大規(guī)模圖處理系統(tǒng)中的任務(wù)調(diào)度與同步控制[D]. 袁方.東北大學(xué) 2012
[7]基于MapReduce的圖聚類算法的研究與實現(xiàn)[D]. 何國雄.湖南大學(xué) 2012
[8]基于hadoop的海量圖片存儲模型的分析和設(shè)計[D]. 李林.杭州電子科技大學(xué) 2011
[9]基于Hadoop平臺的社區(qū)發(fā)現(xiàn)算法研究[D]. 程鵬.東北大學(xué) 2011
[10]作戰(zhàn)模擬系統(tǒng)中軍事通信網(wǎng)絡(luò)建模研究[D]. 侯綠林.國防科學(xué)技術(shù)大學(xué) 2010
本文編號:3321865
本文鏈接:http://sikaile.net/guanlilunwen/shequguanli/3321865.html
最近更新
教材專著