本文關(guān)鍵詞：基于通聯(lián)日志的地址屬性標(biāo)定系統(tǒng)研究與實(shí)現(xiàn)

  更多相關(guān)文章： 通聯(lián)日志 網(wǎng)絡(luò)地址屬性 實(shí)時(shí)標(biāo)定 Hadoop 集成學(xué)習(xí)

【摘要】：網(wǎng)絡(luò)流量分析技術(shù)包括對(duì)網(wǎng)絡(luò)主機(jī)地址、網(wǎng)絡(luò)互連、網(wǎng)絡(luò)應(yīng)用以及網(wǎng)絡(luò)用戶行為等多個(gè)關(guān)聯(lián)實(shí)體的研究分析,對(duì)網(wǎng)絡(luò)資源分配、網(wǎng)絡(luò)服務(wù)質(zhì)量提高都具有重要意義,其中以網(wǎng)絡(luò)主機(jī)地址為研究對(duì)象的網(wǎng)絡(luò)流標(biāo)定,是精細(xì)化網(wǎng)絡(luò)管理的新趨勢。本文通過對(duì)網(wǎng)絡(luò)流量產(chǎn)生的通聯(lián)日志進(jìn)行分析,研究以通聯(lián)日志為基礎(chǔ)的網(wǎng)絡(luò)地址屬性標(biāo)定技術(shù),主要研究內(nèi)容包括： 1.提出并實(shí)現(xiàn)了基于雙哈希表數(shù)據(jù)結(jié)構(gòu)的網(wǎng)絡(luò)通聯(lián)信息管理方法。高速網(wǎng)絡(luò)流完整接收和實(shí)時(shí)計(jì)算是核心網(wǎng)絡(luò)流分析的一大挑戰(zhàn),本文設(shè)計(jì)通聯(lián)日志這一流描述格式,保留通聯(lián)信息過濾數(shù)據(jù)包負(fù)載數(shù)據(jù),以大大降低流數(shù)據(jù)處理成本。通聯(lián)日志接收預(yù)處理節(jié)點(diǎn)使用雙哈希表通聯(lián)信息記錄管理結(jié)構(gòu)和多核多線程并行計(jì)算,最終達(dá)到單機(jī)每秒600萬條通聯(lián)日志的實(shí)時(shí)處理能力,預(yù)處理節(jié)點(diǎn)計(jì)算前后數(shù)據(jù)量壓縮比達(dá)到95.7%。 2.在對(duì)網(wǎng)絡(luò)地址屬性進(jìn)行標(biāo)定過程中,以地址活躍明暗度和截至當(dāng)前的地址通聯(lián)情況為依據(jù),定時(shí)在增量疊加數(shù)據(jù)集上施加屬性標(biāo)定模型計(jì)算,以提高網(wǎng)絡(luò)地址相關(guān)數(shù)據(jù)的實(shí)際貼合度。提出并實(shí)現(xiàn)了基于MapReduce的地址屬性標(biāo)定計(jì)算模型,借助Hadoop分布式并行計(jì)算能力,達(dá)到每半小時(shí)28GB數(shù)據(jù)的合并分析,最終完成對(duì)2天總計(jì)28億活躍地址的網(wǎng)絡(luò)角色類型屬性標(biāo)定存儲(chǔ)。 3.研究常見地址業(yè)務(wù)屬性模型,調(diào)整UNIBS數(shù)據(jù)集使符合本文系統(tǒng)數(shù)據(jù)形式,在該數(shù)據(jù)集上測試對(duì)比常用的6類機(jī)器學(xué)習(xí)基分類器標(biāo)定準(zhǔn)確度和差異度,最終提出基于加權(quán)置信度的組合地址業(yè)務(wù)分類算法。結(jié)果表明本文算法對(duì)于UNIBS中32類應(yīng)用的整體分類準(zhǔn)確度較ZeroR分類器有40.57%提高,相比該樣本空間的最佳基分類器J48的分類準(zhǔn)確率提高1.8%。相比于基分類器該組合算法置信度也有提升,其業(yè)務(wù)置信度的最高提升31.85%,平均提升2.59%。
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP393.06

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前4條

1 康偉;;基于SNA的突發(fā)事件網(wǎng)絡(luò)輿情關(guān)鍵節(jié)點(diǎn)識(shí)別——以“7·23動(dòng)車事故”為例[J];公共管理學(xué)報(bào);2012年03期

2 袁小坊;王東;謝高崗;張大方;閔應(yīng)驊;;高速網(wǎng)絡(luò)流量特性與流數(shù)據(jù)庫設(shè)計(jì)[J];計(jì)算機(jī)工程與應(yīng)用;2009年13期

3 程光,龔儉,丁偉;基于統(tǒng)計(jì)分析的高速網(wǎng)絡(luò)分布式抽樣測量模型[J];計(jì)算機(jī)學(xué)報(bào);2003年10期

4 林闖,彭雪海;可信網(wǎng)絡(luò)研究[J];計(jì)算機(jī)學(xué)報(bào);2005年05期

中國博士學(xué)位論文全文數(shù)據(jù)庫 前3條

1 吳敏;P2P網(wǎng)絡(luò)流量控制管理若干關(guān)鍵技術(shù)研究[D];南京郵電大學(xué);2011年

2 熊兵;高速網(wǎng)絡(luò)數(shù)據(jù)流分析的若干問題研究[D];華中科技大學(xué);2009年

3 李為民;互聯(lián)網(wǎng)典型業(yè)務(wù)流量特征研究[D];北京郵電大學(xué);2012年

，

本文編號(hào)：1258416