本文關(guān)鍵詞：基于通聯(lián)日志的地址屬性標(biāo)定系統(tǒng)研究與實現(xiàn)

  更多相關(guān)文章： 通聯(lián)日志 網(wǎng)絡(luò)地址屬性 實時標(biāo)定 Hadoop 集成學(xué)習(xí)

【摘要】：網(wǎng)絡(luò)流量分析技術(shù)包括對網(wǎng)絡(luò)主機地址、網(wǎng)絡(luò)互連、網(wǎng)絡(luò)應(yīng)用以及網(wǎng)絡(luò)用戶行為等多個關(guān)聯(lián)實體的研究分析,對網(wǎng)絡(luò)資源分配、網(wǎng)絡(luò)服務(wù)質(zhì)量提高都具有重要意義,其中以網(wǎng)絡(luò)主機地址為研究對象的網(wǎng)絡(luò)流標(biāo)定,是精細化網(wǎng)絡(luò)管理的新趨勢。本文通過對網(wǎng)絡(luò)流量產(chǎn)生的通聯(lián)日志進行分析,研究以通聯(lián)日志為基礎(chǔ)的網(wǎng)絡(luò)地址屬性標(biāo)定技術(shù),主要研究內(nèi)容包括： 1.提出并實現(xiàn)了基于雙哈希表數(shù)據(jù)結(jié)構(gòu)的網(wǎng)絡(luò)通聯(lián)信息管理方法。高速網(wǎng)絡(luò)流完整接收和實時計算是核心網(wǎng)絡(luò)流分析的一大挑戰(zhàn),本文設(shè)計通聯(lián)日志這一流描述格式,保留通聯(lián)信息過濾數(shù)據(jù)包負載數(shù)據(jù),以大大降低流數(shù)據(jù)處理成本。通聯(lián)日志接收預(yù)處理節(jié)點使用雙哈希表通聯(lián)信息記錄管理結(jié)構(gòu)和多核多線程并行計算,最終達到單機每秒600萬條通聯(lián)日志的實時處理能力,預(yù)處理節(jié)點計算前后數(shù)據(jù)量壓縮比達到95.7%。 2.在對網(wǎng)絡(luò)地址屬性進行標(biāo)定過程中,以地址活躍明暗度和截至當(dāng)前的地址通聯(lián)情況為依據(jù),定時在增量疊加數(shù)據(jù)集上施加屬性標(biāo)定模型計算,以提高網(wǎng)絡(luò)地址相關(guān)數(shù)據(jù)的實際貼合度。提出并實現(xiàn)了基于MapReduce的地址屬性標(biāo)定計算模型,借助Hadoop分布式并行計算能力,達到每半小時28GB數(shù)據(jù)的合并分析,最終完成對2天總計28億活躍地址的網(wǎng)絡(luò)角色類型屬性標(biāo)定存儲。 3.研究常見地址業(yè)務(wù)屬性模型,調(diào)整UNIBS數(shù)據(jù)集使符合本文系統(tǒng)數(shù)據(jù)形式,在該數(shù)據(jù)集上測試對比常用的6類機器學(xué)習(xí)基分類器標(biāo)定準(zhǔn)確度和差異度,最終提出基于加權(quán)置信度的組合地址業(yè)務(wù)分類算法。結(jié)果表明本文算法對于UNIBS中32類應(yīng)用的整體分類準(zhǔn)確度較ZeroR分類器有40.57%提高,相比該樣本空間的最佳基分類器J48的分類準(zhǔn)確率提高1.8%。相比于基分類器該組合算法置信度也有提升,其業(yè)務(wù)置信度的最高提升31.85%,平均提升2.59%。
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP393.06

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前4條

1 康偉;;基于SNA的突發(fā)事件網(wǎng)絡(luò)輿情關(guān)鍵節(jié)點識別——以“7·23動車事故”為例[J];公共管理學(xué)報;2012年03期

2 袁小坊;王東;謝高崗;張大方;閔應(yīng)驊;;高速網(wǎng)絡(luò)流量特性與流數(shù)據(jù)庫設(shè)計[J];計算機工程與應(yīng)用;2009年13期

3 程光,龔儉,丁偉;基于統(tǒng)計分析的高速網(wǎng)絡(luò)分布式抽樣測量模型[J];計算機學(xué)報;2003年10期

4 林闖,彭雪海;可信網(wǎng)絡(luò)研究[J];計算機學(xué)報;2005年05期

中國博士學(xué)位論文全文數(shù)據(jù)庫 前3條

1 吳敏;P2P網(wǎng)絡(luò)流量控制管理若干關(guān)鍵技術(shù)研究[D];南京郵電大學(xué);2011年

2 熊兵;高速網(wǎng)絡(luò)數(shù)據(jù)流分析的若干問題研究[D];華中科技大學(xué);2009年

3 李為民;互聯(lián)網(wǎng)典型業(yè)務(wù)流量特征研究[D];北京郵電大學(xué);2012年

，

本文編號：1258416