發(fā)布時(shí)間：2017-04-08 23:17

  本文關(guān)鍵詞：基于Hadoop的BT業(yè)務(wù)流量精細(xì)識別及分析，，由筆耕文化傳播整理發(fā)布。

【摘要】：對等網(wǎng)絡(luò)(簡稱P2P)現(xiàn)階段已成為互聯(lián)網(wǎng)帶寬中最大的消費(fèi)者。作為P2P最主流的代表,BitTorrent(簡稱BT)協(xié)議所產(chǎn)生的流量已占到整個(gè)P2P網(wǎng)絡(luò)的60%,并呈現(xiàn)出持續(xù)增長態(tài)勢。在流量已呈現(xiàn)大數(shù)據(jù)特征的情況下,單純判斷BT流量是否存在,關(guān)聯(lián)性弱,也過于籠統(tǒng)。更進(jìn)一步,對BT業(yè)務(wù)流量進(jìn)行更加精細(xì)化的識別與分類,獲取BT資源服務(wù)器的相關(guān)屬性和重要BT用戶流量的分布情況,是十分必要的。既可以及時(shí)了解BT網(wǎng)絡(luò)內(nèi)資源的調(diào)度情況,又能夠監(jiān)控BT流量的分布特征及變化,無論是對BT應(yīng)用本身的管理,還是對用戶使用BT情況的監(jiān)控,都有著非常重要的意義。 本文首先介紹了目前BT流量識別領(lǐng)域的研究現(xiàn)狀,闡述了現(xiàn)有方法的局限性。在對BT協(xié)議通信流程進(jìn)行報(bào)文與流量特征兩個(gè)層面詳細(xì)分析的基礎(chǔ)上,結(jié)合現(xiàn)有的DPI特征與行為特征兩種流量識別方法,提出了一套完整的區(qū)分Tracker服務(wù)器與Peer的精細(xì)化流量分析方案。為了應(yīng)對逐漸顯現(xiàn)的大數(shù)據(jù)特征,本文實(shí)現(xiàn)的BT流量精細(xì)識別與分析系統(tǒng)使用了Hadoop系統(tǒng)和MapReduce分布式數(shù)據(jù)處理框架,超越了以往使用采樣數(shù)據(jù)或主動測量的限制。本系統(tǒng)通過多個(gè)連續(xù)的MapReduce作業(yè)鏈實(shí)現(xiàn)海量網(wǎng)絡(luò)流量數(shù)據(jù)中,Tracker服務(wù)器屬性的提取與Peer詳細(xì)流量信息的匯聚。在此基礎(chǔ)上,使用分布式數(shù)據(jù)庫HBase完成上述分析結(jié)果的存儲與管理：設(shè)計(jì)并優(yōu)化了表格結(jié)構(gòu)及存儲、查詢邏輯,實(shí)現(xiàn)了支持可擴(kuò)展的分析結(jié)果的高效存儲與檢索。本文最后對提出的BT精細(xì)化流量分析方法結(jié)果進(jìn)行了直觀的呈現(xiàn),同時(shí)對Tracker屬性,以及Peer流量分布特征進(jìn)行了分析。
【關(guān)鍵詞】：BT流量精細(xì)識別 MapReduce HBase 高效存儲與檢索
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TP393.06
【目錄】：

• 摘要4-5
• ABSTRACT5-10
• 第一章 緒論10-14
• 1.1 研究背景10
• 1.2 研究意義10-11
• 1.3 研究范圍和內(nèi)容11
• 1.4 論文組織結(jié)構(gòu)11-14
• 第二章 BitTorrent概述及流量分析現(xiàn)狀14-20
• 2.1 BitTorrent概述14-15
• 2.2 BitTorrent協(xié)議規(guī)范15-16
• 2.2.1 BitTorrent協(xié)議系統(tǒng)構(gòu)成15-16
• 2.2.2 種子文件結(jié)構(gòu)16
• 2.3 現(xiàn)有BitTorrent網(wǎng)絡(luò)流量識別方法16-20
• 2.3.1 深層數(shù)據(jù)包檢測(DPI)技術(shù)17
• 2.3.2 深度/動態(tài)流檢測(DFI)技術(shù)17-18
• 2.3.3 現(xiàn)有BitTorrent流量識別方法及其局限性18-20
• 第三章 BitTorrent精細(xì)化流量分析20-48
• 3.1 BitTorrent完整通信流程20-21
• 3.2 Tracker服務(wù)器的識別21-28
• 3.2.1 Tracker交互過程分析21-26
• 3.2.2 Tracker服務(wù)器識別方法26-28
• 3.3 Peer用戶的識別28-48
• 3.3.1 基于TCP的Peer交互過程分析29-36
• 3.3.2 基于UDP的Peer交互過程分析36-42
• 3.3.3 Peer間交互流量特征分析42-46
• 3.3.4 Peer用戶流量識別方法46-48
• 第四章 基于MapReduce的海量BitTorrent流量分析系統(tǒng)48-62
• 4.1 Hadoop系統(tǒng)和MapReduce編程框架48-50
• 4.2 海量原始話單數(shù)據(jù)50-52
• 4.2.1 HTTP話單50-51
• 4.2.2 Rawflow話單51-52
• 4.3 MapReduce任務(wù)提取Tracker服務(wù)器52-53
• 4.4 MapReduce任務(wù)鏈提取Peer用戶53-62
• 4.4.1 獲取Peer使用BitTorrent時(shí)段54-55
• 4.4.2 Peer相關(guān)UDP流記錄提取55-57
• 4.4.3 Peer完整UDP流量聚合57-58
• 4.4.4 Peer相關(guān)TCP流記錄提取58-60
• 4.4.5 Peer完整TCP流量聚合60-62
• 第五章 BitTorrent流量分析數(shù)據(jù)存儲與管理62-78
• 5.1 分布式列存儲數(shù)據(jù)庫HBase簡介62-67
• 5.1.1 HBase構(gòu)架63-64
• 5.1.2 HBase數(shù)據(jù)模型與物理模型64-67
• 5.2 Tracker服務(wù)器屬性信息管理67-72
• 5.2.1 HBase表格設(shè)計(jì)67-69
• 5.2.2 數(shù)據(jù)導(dǎo)入邏輯69-70
• 5.2.3 數(shù)據(jù)查詢邏輯70-72
• 5.3 Peer客戶端流量信息管理72-78
• 5.3.1 HBase主數(shù)據(jù)表設(shè)計(jì)72-73
• 5.3.2 HBase索引表設(shè)計(jì)73-74
• 5.3.3 數(shù)據(jù)導(dǎo)入邏輯74-75
• 5.3.4 數(shù)據(jù)查詢邏輯75-78
• 第六章 BitTorrent流量識別結(jié)果分析78-92
• 6.1 原始數(shù)據(jù)說明78
• 6.2 Tracker服務(wù)器識別結(jié)果78-84
• 6.2.1 Tracker服務(wù)器管理與檢索78-80
• 6.2.2 Tracker服務(wù)器屬性分析80-84
• 6.3 Peer識別結(jié)果84-92
• 6.3.1 Peer管理與檢索84-86
• 6.3.2 Peer流量特征分析86-92
• 第七章 總結(jié)與展望92-94
• 參考文獻(xiàn)94-96
• 致謝96-98
• 攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文目錄98

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前7條

1 武子英;;基于QT的BitTorrent客戶端下載工具設(shè)計(jì)與實(shí)現(xiàn)[J];長治學(xué)院學(xué)報(bào);2011年05期

2 徐恪;;P2P流量的監(jiān)控與管理[J];中國教育網(wǎng)絡(luò);2006年07期

3 陳繡瑤;;DPI帶寬管理技術(shù)的研究與應(yīng)用[J];計(jì)算機(jī)與現(xiàn)代化;2010年09期

4 林子雨;賴永炫;林琛;謝怡;鄒權(quán);;云數(shù)據(jù)庫研究[J];軟件學(xué)報(bào);2012年05期

5 榮輝桂;李明偉;蔡立軍;;An early recognition algorithm for BitTorrent traffic based on improved K-means[J];Journal of Central South University of Technology;2011年06期

6 殷曉麗;田端財(cái);;P2P流量識別技術(shù)分析[J];科技資訊;2009年08期

7 Wojciech Mazurczyk;Pawe Kopiczko;;基于實(shí)際測量的BitTorrent協(xié)議（英文）[J];中國通信;2013年11期

  本文關(guān)鍵詞：基于Hadoop的BT業(yè)務(wù)流量精細(xì)識別及分析，由筆耕文化傳播整理發(fā)布。

本文編號：293917