21世紀(jì)是一個(gè)互聯(lián)網(wǎng)高速發(fā)展的時(shí)代,我國互聯(lián)網(wǎng)基礎(chǔ)設(shè)施得到不斷的完善和提升,互聯(lián)網(wǎng)提供的服務(wù)品類層出不窮,每天產(chǎn)生的海量數(shù)據(jù)中不僅蘊(yùn)藏了商業(yè)價(jià)值,同時(shí)大量的互聯(lián)網(wǎng)服務(wù)也給網(wǎng)絡(luò)帶來了沉重的負(fù)擔(dān)。如何從網(wǎng)絡(luò)數(shù)據(jù)包中收集到準(zhǔn)確有效的信息,并在在復(fù)雜的網(wǎng)絡(luò)狀況下及時(shí)的發(fā)現(xiàn)存在的問題,能夠幫助運(yùn)營商改善網(wǎng)絡(luò)環(huán)境。文章初始就對研究的背景意義以及現(xiàn)狀做了闡述,然后詳細(xì)論述了大規(guī)模采集網(wǎng)絡(luò)以及Hadoop分布式大數(shù)據(jù)處理平臺(tái)和其相關(guān)組件,為后文的研究提供了平臺(tái)支撐和技術(shù)保障。論文主要分為兩個(gè)方面,一個(gè)是針對采集的準(zhǔn)確性,主要研究HTTP報(bào)文請求應(yīng)答在采集系統(tǒng)中的準(zhǔn)確識(shí)別、匹配關(guān)聯(lián)以及大規(guī)模采集系統(tǒng)中多臺(tái)采集器的時(shí)間同步問題;另一個(gè)是針對服務(wù)器和網(wǎng)絡(luò)性能的分析研究,論文提出了一種全新的匯聚下載速率的計(jì)算方法,以及使用多種時(shí)延和HTTP特有字段對服務(wù)器的處理速度以及網(wǎng)絡(luò)中的傳輸狀況進(jìn)行全方面的分析,幫助運(yùn)營商全方位的了解服務(wù)器的性能以及現(xiàn)網(wǎng)中的網(wǎng)絡(luò)傳輸狀況。論文基于真實(shí)的采集網(wǎng)絡(luò)以及其產(chǎn)生的海量網(wǎng)絡(luò)數(shù)據(jù),通過對HTTP協(xié)議和NTP協(xié)議的深刻理解,提升大規(guī)模采集網(wǎng)絡(luò)下數(shù)據(jù)的準(zhǔn)確性,提高采集精度。通過大數(shù)據(jù)分... 

【文章來源】：北京郵電大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁數(shù)】：60 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖２－１采集系統(tǒng)ＴＭＳ網(wǎng)絡(luò)部署圖??網(wǎng)絡(luò)由三部分組成，分別是個(gè)人設(shè)備、接入網(wǎng)和核心網(wǎng)

?第三章大規(guī)模采集系統(tǒng)ＨＴＴＰ報(bào)文匹配優(yōu)化???第三章大規(guī)模采集系統(tǒng)ＨＴＴＰ報(bào)文匹配優(yōu)化??３．１?ＨＴＴＰ協(xié)議簡述??３．１．１?ＨＴＴＰ工作過程??ＨＴＴＰ［１５］協(xié)議是基于ＴＣＰ協(xié)議之上的，是一個(gè)無狀態(tài)、無連接的協(xié)議，支持??客戶／服務(wù)器模式。無狀態(tài)是指客戶端和服務(wù)器中之間無建立長久的連接，當(dāng)客??戶端停止向服務(wù)器請求網(wǎng)絡(luò)資源時(shí)，連接就會(huì)斷開，無連接是指服務(wù)器端不會(huì)保??存客戶端和該此鏈接的任何信息。??ＤＮＳ＃＊＃??

??如果沒有匹配到話單，那么就保留原有的話單內(nèi)容輸出。如果匹配到了話單，根據(jù)話單意義設(shè)定合理的規(guī)則，對其各個(gè)字端進(jìn)行改造，然后輸出多場景測試??為了全方位驗(yàn)證該算法是否能夠?qū)⒘饔涗�、ＨＴＴＰ請求�?bào)文以及ＨＴＴＰ文三者能夠正確的關(guān)聯(lián)起來，本章節(jié)中通過對網(wǎng)絡(luò)中的ＨＴＴＰ報(bào)文和流記改造，構(gòu)造出五種不同的場景，并采用離線讀取報(bào)文的模式在多場景下對法的健壯性進(jìn)行測試。??正常次序到達(dá)??流記錄和ＨＴＴＰ報(bào)文的處理是分開進(jìn)行的，該場景下流記錄和鏡像報(bào)文集系統(tǒng)的順序是一致的，而且是沒有出現(xiàn)溢出的。這是大部分報(bào)文的處理場種場景下該算法能夠完全匹配正確。??Ｓｅｓｓｉｏｎ出現(xiàn)溢出??

【參考文獻(xiàn)】：
碩士論文
[1]高性能采集軟件關(guān)鍵技術(shù)研究和實(shí)現(xiàn)[D]. 李建山.北京郵電大學(xué) 2017
[2]移動(dòng)互聯(lián)網(wǎng)HTTP采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 蔣鵬程.北京郵電大學(xué) 2015



本文編號(hào)：3524271