發(fā)布時間：2021-11-28 10:40

　　21世紀是一個互聯(lián)網(wǎng)高速發(fā)展的時代,我國互聯(lián)網(wǎng)基礎設施得到不斷的完善和提升,互聯(lián)網(wǎng)提供的服務品類層出不窮,每天產(chǎn)生的海量數(shù)據(jù)中不僅蘊藏了商業(yè)價值,同時大量的互聯(lián)網(wǎng)服務也給網(wǎng)絡帶來了沉重的負擔。如何從網(wǎng)絡數(shù)據(jù)包中收集到準確有效的信息,并在在復雜的網(wǎng)絡狀況下及時的發(fā)現(xiàn)存在的問題,能夠幫助運營商改善網(wǎng)絡環(huán)境。文章初始就對研究的背景意義以及現(xiàn)狀做了闡述,然后詳細論述了大規(guī)模采集網(wǎng)絡以及Hadoop分布式大數(shù)據(jù)處理平臺和其相關組件,為后文的研究提供了平臺支撐和技術保障。論文主要分為兩個方面,一個是針對采集的準確性,主要研究HTTP報文請求應答在采集系統(tǒng)中的準確識別、匹配關聯(lián)以及大規(guī)模采集系統(tǒng)中多臺采集器的時間同步問題;另一個是針對服務器和網(wǎng)絡性能的分析研究,論文提出了一種全新的匯聚下載速率的計算方法,以及使用多種時延和HTTP特有字段對服務器的處理速度以及網(wǎng)絡中的傳輸狀況進行全方面的分析,幫助運營商全方位的了解服務器的性能以及現(xiàn)網(wǎng)中的網(wǎng)絡傳輸狀況。論文基于真實的采集網(wǎng)絡以及其產(chǎn)生的海量網(wǎng)絡數(shù)據(jù),通過對HTTP協(xié)議和NTP協(xié)議的深刻理解,提升大規(guī)模采集網(wǎng)絡下數(shù)據(jù)的準確性,提高采集精度。通過大數(shù)據(jù)分... 

【文章來源】：北京郵電大學北京市 211工程院校 教育部直屬院校

【文章頁數(shù)】：60 頁

【學位級別】：碩士

【部分圖文】：

圖２－１采集系統(tǒng)ＴＭＳ網(wǎng)絡部署圖??網(wǎng)絡由三部分組成，分別是個人設備、接入網(wǎng)和核心網(wǎng)

?第三章大規(guī)模采集系統(tǒng)ＨＴＴＰ報文匹配優(yōu)化???第三章大規(guī)模采集系統(tǒng)ＨＴＴＰ報文匹配優(yōu)化??３．１?ＨＴＴＰ協(xié)議簡述??３．１．１?ＨＴＴＰ工作過程??ＨＴＴＰ［１５］協(xié)議是基于ＴＣＰ協(xié)議之上的，是一個無狀態(tài)、無連接的協(xié)議，支持??客戶／服務器模式。無狀態(tài)是指客戶端和服務器中之間無建立長久的連接，當客??戶端停止向服務器請求網(wǎng)絡資源時，連接就會斷開，無連接是指服務器端不會保??存客戶端和該此鏈接的任何信息。??ＤＮＳ＃＊＃??

??如果沒有匹配到話單，那么就保留原有的話單內容輸出。如果匹配到了話單，根據(jù)話單意義設定合理的規(guī)則，對其各個字端進行改造，然后輸出多場景測試??為了全方位驗證該算法是否能夠將流記錄、ＨＴＴＰ請求報文以及ＨＴＴＰ文三者能夠正確的關聯(lián)起來，本章節(jié)中通過對網(wǎng)絡中的ＨＴＴＰ報文和流記改造，構造出五種不同的場景，并采用離線讀取報文的模式在多場景下對法的健壯性進行測試。??正常次序到達??流記錄和ＨＴＴＰ報文的處理是分開進行的，該場景下流記錄和鏡像報文集系統(tǒng)的順序是一致的，而且是沒有出現(xiàn)溢出的。這是大部分報文的處理場種場景下該算法能夠完全匹配正確。??Ｓｅｓｓｉｏｎ出現(xiàn)溢出??

【參考文獻】：
碩士論文
[1]高性能采集軟件關鍵技術研究和實現(xiàn)[D]. 李建山.北京郵電大學 2017
[2]移動互聯(lián)網(wǎng)HTTP采集系統(tǒng)的設計與實現(xiàn)[D]. 蔣鵬程.北京郵電大學 2015



本文編號：3524271