基于行為特征的海量Web流量的識別與分析
發(fā)布時間:2018-05-30 09:09
本文選題:網(wǎng)絡(luò)流量測量 + 精細化流量識別; 參考:《北京郵電大學(xué)》2016年博士論文
【摘要】:隨著電信運營商的移動端入口逐漸被微信等社交類應(yīng)用占領(lǐng),運營商“管道化”日趨嚴重。運營商不斷地為網(wǎng)絡(luò)基礎(chǔ)設(shè)施投資擴容,卻很難分享到網(wǎng)絡(luò)優(yōu)化帶來的收益,陷入“增量不增收”的窘境,跨界競爭的局面促使運營商尋找新的價值增長點。隨著大數(shù)據(jù)時代的到來,利用大數(shù)據(jù)技術(shù)實現(xiàn)價值增值是電信運營商結(jié)合自身的數(shù)據(jù)優(yōu)勢所提出的重要策略。電信運營商是以提供電信服務(wù)為基礎(chǔ)的企業(yè),大數(shù)據(jù)策略的最終的落實要體現(xiàn)在為用戶提供更優(yōu)質(zhì)的電信服務(wù)上,如:提供按需服務(wù),精準營銷等,而精細化網(wǎng)絡(luò)流量識別是實現(xiàn)這些目標的前提。由于當前網(wǎng)絡(luò)中Web流量的占比最高,并且網(wǎng)絡(luò)端采集的Web流量包含了較多有用信息,有利于運營商了解用戶以及網(wǎng)絡(luò)狀態(tài)。因此,本文針對固定網(wǎng)絡(luò)與移動互聯(lián)網(wǎng),以精細化流量識別為中心,以海量Web流量數(shù)據(jù)為基礎(chǔ),利用Web流量的行為特征,分別從網(wǎng)站、應(yīng)用、操作系統(tǒng)、設(shè)備、網(wǎng)絡(luò)安全六個維度對Web流量進行精細化識別與分析。本文主要的研究內(nèi)容與創(chuàng)新包括:(1)固定網(wǎng)絡(luò)中的Web流量的精細化識別與分析Top-k網(wǎng)站流量查詢有利于運營商了解網(wǎng)絡(luò)狀況以及網(wǎng)絡(luò)資源的優(yōu)化,然而,由于網(wǎng)絡(luò)中的未知Web流量的存在,導(dǎo)致查詢結(jié)果與真實結(jié)果有較大的差距。為了縮小差距以便反映網(wǎng)絡(luò)真實的狀況,需要將未知Web流量與網(wǎng)站關(guān)聯(lián)起來。本文采用時序二部圖來描述客戶端與服務(wù)器端的HTTP交互過程;跁r序二部圖并利用Referer字段以及HTTP流記錄之間的時間關(guān)系來構(gòu)建識別未知Web流量的概率模型。針對該模型,用三種不同方法來獲得Top-k個流量最大的網(wǎng)站,結(jié)果顯示這三種方法都能極大地縮小網(wǎng)站流量真實值與查詢值之間的差距。我們發(fā)現(xiàn)視頻網(wǎng)站的未知IP以及未知流量的占比通常要高于以文本服務(wù)為主的網(wǎng)站,具體來說,我們發(fā)現(xiàn)流量值排名前三的視頻網(wǎng)站中未知流量的占比超過90%。除此之外,本文首次將不確定性數(shù)據(jù)的Top-k查詢方法應(yīng)用到網(wǎng)絡(luò)流量分析領(lǐng)域。(2)移動互聯(lián)網(wǎng)中Web流量的精細化識別與固定網(wǎng)絡(luò)不同,移動互聯(lián)網(wǎng)中廣泛使用App的方式訪問互聯(lián)網(wǎng)。因此,移動互聯(lián)網(wǎng)中Web流量精細化識別的目標是將流量與相應(yīng)的App進行關(guān)聯(lián)。目前,DPI是App識別的主要方法,然而,由于用來標識應(yīng)用的特征字符串是由App的開發(fā)團隊設(shè)定的,沒有按照統(tǒng)一的規(guī)則進行編碼,直接采用該方法僅能獲得App的字符串特征,而不能得到直觀的App名稱。因此,應(yīng)用識別的研究局限于應(yīng)用特征字符串的提取。我們提出了一種新的應(yīng)用識別方法,該方法能根據(jù)模糊的或不完整的用戶代理特征字符串識別應(yīng)用名稱。該識別方法分為三步:首先,從HTTP請求報文中獲得UA特征;然后,從互聯(lián)網(wǎng)中獲取該UA對應(yīng)的特征文本;最后,對特征文本進行分析進而識別應(yīng)用名稱。(3)移動互聯(lián)網(wǎng)中智能手機用戶的行為分析操作系統(tǒng)及設(shè)備型號是人們在購買智能手機時考慮的兩個重要因素。不同類型的移動設(shè)備吸引不同類型的人,而不同類型的人使用手機的方式是不同的。因此,從這兩個維度進行研究可以揭示不同型號智能手機的流量特征以及不同類型的人使用手機的行為特征;谝粋完整計費周期的數(shù)據(jù),我們從操作系統(tǒng)維度以及設(shè)備型號維度分析了智能手機的流量特征以及用戶使用智能手機的特征,并得到一些有意義的結(jié)論。例如:Android系統(tǒng)的手機消耗的流量的平均值是iOS的1.5倍;不同型號的iPhone智能手機每一天的流量平均值差距在5%以內(nèi),而不同型號的Android智能手機流量差距可高達200%(如:小米3與小米Note);相對于上班時間,人們在假期時更多地使用智能手機;一周之內(nèi)70%的用戶使用的應(yīng)用數(shù)少于10個;10%的應(yīng)用消耗了總流量的98%,而剩下的90%的應(yīng)用僅消耗總流量的2%。這些測量結(jié)論為電信運營商的差異化計費策略以及網(wǎng)絡(luò)資源分配提供了依據(jù)。(4)移動互聯(lián)網(wǎng)中惡意軟件流量識別與分析隨著移動互聯(lián)網(wǎng)向社會、經(jīng)濟、文化等各個領(lǐng)域的滲透,網(wǎng)絡(luò)安全問題離用戶越來越近。隨著技術(shù)的發(fā)展,新型的惡意軟件在網(wǎng)絡(luò)中層出不窮。若能在網(wǎng)絡(luò)中識別這些惡意軟件產(chǎn)生的流量并對這些流量加以限制或者對用戶提供預(yù)警,便能降低用戶的損失,促進網(wǎng)絡(luò)環(huán)境健康發(fā)展。XcodeGhost是出現(xiàn)在iOS中的一種新型惡意軟件,2015年9月17日報道時已導(dǎo)致了大量用戶隱私數(shù)據(jù)的泄露,但對于XcodeGhost僅有少量的基于源代碼的研究。本文基于232天北方某省共計259萬余iPhone用戶上網(wǎng)數(shù)據(jù),采用DPI方法識別XcodeGhost惡意軟件產(chǎn)生Web流量。經(jīng)過對這些Web流量進行分析,我們得出了一些有意義的結(jié)論,譬如:受XcodeGhost惡意軟件感染的iPhone設(shè)備比例高達60%;我們在網(wǎng)絡(luò)端檢測到了 842個受感染的應(yīng)用,許多流行應(yīng)用中的某些版本也受感染,如:微信、鐵路12306、嘀嘀打車、保衛(wèi)蘿卜等等。除此之外,我們還提出來一個指數(shù)衰減模型來描述該惡意軟件在網(wǎng)絡(luò)中消退的過程。
[Abstract]:As the mobile terminal entrance of telecom operators is gradually occupied by social classes such as micro - trust , operators are becoming more and more serious . With the advent of large data times , it is difficult to share the benefits of network optimization , which is helpful for operators to find new value growth points . In order to narrow the gap so as to reflect the real situation of network resources , it is helpful for operators to find new value growth points . The invention provides a new application identification method , which comprises the following steps : firstly , acquiring UA characteristics from an HTTP request message ; ( 4 ) The identification and analysis of malware traffic in mobile Internet is becoming more and more close to users . With the development of technology , new types of malware are becoming more and more close to users . With the development of technology , new types of malware are more and less developed in the network . With the development of the technology , the new type of malware can reduce the user ' s loss and promote the healthy development of the network . XcodeGhost is a new type of malware that appears in iOS .
【學(xué)位授予單位】:北京郵電大學(xué)
【學(xué)位級別】:博士
【學(xué)位授予年份】:2016
【分類號】:TP393.06
【參考文獻】
相關(guān)期刊論文 前1條
1 吳昊;程光;;HTTP網(wǎng)絡(luò)應(yīng)用特征串的自動提取[J];廣西大學(xué)學(xué)報(自然科學(xué)版);2011年S1期
相關(guān)博士學(xué)位論文 前2條
1 陳陸穎;高速網(wǎng)絡(luò)中面向應(yīng)用的IP流研究[D];北京郵電大學(xué);2011年
2 劉峰;基于服務(wù)角色的P2P節(jié)點識別方法研究[D];華中科技大學(xué);2010年
相關(guān)碩士學(xué)位論文 前1條
1 張楠;基于IP網(wǎng)絡(luò)的通用數(shù)據(jù)采集系統(tǒng)的設(shè)計與實現(xiàn)[D];北京郵電大學(xué);2015年
,本文編號:1954733
本文鏈接:http://sikaile.net/guanlilunwen/ydhl/1954733.html
最近更新
教材專著