本文關(guān)鍵詞：基于MapReduce的網(wǎng)絡(luò)流量分析系統(tǒng)及其性能優(yōu)化研究，，由筆耕文化傳播整理發(fā)布。

【摘要】：在互聯(lián)網(wǎng)逐步走向大數(shù)據(jù)時(shí)代的今天,行業(yè)中的各個(gè)部分都在不斷的受到大數(shù)據(jù)的沖擊,網(wǎng)絡(luò)流量分析也不例外。隨著網(wǎng)絡(luò)帶寬的逐步提升,網(wǎng)絡(luò)流量數(shù)據(jù)也在不斷增加�，F(xiàn)有的數(shù)據(jù)量已經(jīng)遠(yuǎn)遠(yuǎn)超出普通服務(wù)器所能處理的范圍,而且還有繼續(xù)大幅增長(zhǎng)的趨勢(shì)。于是,使用大數(shù)據(jù)平臺(tái)成為了勢(shì)不可擋的趨勢(shì)。Hadoop平臺(tái)作為業(yè)界廣泛接受的分析平臺(tái),成為了最佳的解決方案。 本文圍繞Hadoop中MapReduce技術(shù)在網(wǎng)絡(luò)流量分析中的應(yīng)用展開(kāi),以實(shí)際生產(chǎn)環(huán)境為背景,設(shè)計(jì)了基于Hadoop的流量分析程序。程序以MapReduce為基礎(chǔ),實(shí)現(xiàn)了在大數(shù)據(jù)量情況下的數(shù)據(jù)分析,有效地將MapReduce的各項(xiàng)技術(shù)融入到分析程序中,使得分析程序更加高效、簡(jiǎn)潔。 為了進(jìn)一步提高分析程序的效率,本文對(duì)MapReduce作業(yè)的實(shí)現(xiàn)進(jìn)行了分析。通過(guò)分析MapReduce框架的執(zhí)行流程,總結(jié)了影響MapReduce執(zhí)行效率的主要因素及其對(duì)作業(yè)運(yùn)行時(shí)間的影響。同時(shí)通過(guò)實(shí)驗(yàn)驗(yàn)證了這些結(jié)論,證明了分析的正確性。 最后,在分析結(jié)論和網(wǎng)絡(luò)流量分析的任務(wù)特點(diǎn)的基礎(chǔ)上,本文提出并實(shí)現(xiàn)了基于MapReduce的多作業(yè)合并組件。該組件主要針對(duì)網(wǎng)絡(luò)流量分析中同一輸入數(shù)據(jù)反復(fù)使用的場(chǎng)景,提供了一個(gè)接口簡(jiǎn)單的函數(shù)庫(kù),能讓作業(yè)的編寫(xiě)者在幾乎不需要修改代碼的情況下,利用原生Hadoop框架,實(shí)現(xiàn)多個(gè)作業(yè)的合并運(yùn)行。合并后的作業(yè)能通過(guò)一次讀取輸入數(shù)據(jù),完成多個(gè)分析任務(wù),從而有效地減少了數(shù)據(jù)讀取所消耗的時(shí)間,明顯地提高了分析任務(wù)的整體運(yùn)行效率。同時(shí)依據(jù)實(shí)驗(yàn),通過(guò)幾個(gè)典型場(chǎng)景以及生產(chǎn)中使用的實(shí)際分析作業(yè),驗(yàn)證了合并組件的效果,證明了這一解決方案的有效性。
【關(guān)鍵詞】：網(wǎng)絡(luò)流量分析 MapReduce效率分析 多作業(yè)合并
【學(xué)位授予單位】：北京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP393.06
【目錄】：

• 摘要4-5
• ABSTRACT5-7
• 目錄7-9
• 第一章 緒論9-11
• 1.1 研究背景9-10
• 1.2 論文結(jié)構(gòu)10-11
• 第二章 Hadoop與MapReduce框架11-14
• 2.1 MapReduce概述11-12
• 2.1.1 MapReduce計(jì)算框架11-12
• 2.2 MapReduce的應(yīng)用與問(wèn)題12-14
• 2.2.1 MapReduce在網(wǎng)絡(luò)流量分析中的應(yīng)用12
• 2.2.2 MapReduce在網(wǎng)絡(luò)流量分析中的問(wèn)題與改進(jìn)12-14
• 第三章 HTTP流量關(guān)聯(lián)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)14-29
• 3.1 系統(tǒng)概述14-17
• 3.1.1 系統(tǒng)設(shè)計(jì)14-15
• 3.1.2 流量數(shù)據(jù)15-17
• 3.2 Http流量關(guān)聯(lián)系統(tǒng)17-24
• 3.2.1 系統(tǒng)概覽17-18
• 3.2.2 關(guān)鍵算法18-23
• 3.2.3 程序邏輯23-24
• 3.3 HTTP流量分析24-29
• 3.3.1 數(shù)據(jù)集24-25
• 3.3.2 匹配結(jié)果的正確性分析25-27
• 3.3.3 數(shù)據(jù)流量與content length關(guān)系27-29
• 第四章 MapReduce執(zhí)行效率分析29-41
• 4.1 概述29
• 4.2 Map端執(zhí)行流程分析29-34
• 4.2.1 代碼分析29-31
• 4.2.2 性能分析31-34
• 4.3 Reduce端流程分析34-38
• 4.3.1 代碼分析34-37
• 4.3.2 性能分析37-38
• 4.4 作業(yè)運(yùn)行測(cè)試38-41
• 4.4.1 實(shí)驗(yàn)設(shè)計(jì)39
• 4.4.2 實(shí)驗(yàn)結(jié)果39-41
• 第五章 MapReduce多作業(yè)合并組件的設(shè)計(jì)41-55
• 5.1 設(shè)計(jì)背景41
• 5.2 目標(biāo)與設(shè)計(jì)思路41-42
• 5.3 整體架構(gòu)42
• 5.4 合并組件的配置接口42-43
• 5.5 合并組件需要支持的內(nèi)部接口43-44
• 5.6 代理模塊的設(shè)計(jì)44-48
• 5.6.1 作業(yè)信息的保存與類加載44-45
• 5.6.2 Mapper代理模塊45-47
• 5.6.3 Partitioner代理模塊47
• 5.6.4 Reducer代理模塊47-48
• 5.6.5 OutputFormat代理模塊48
• 5.6.6 其他MapReduce模塊的代理模塊48
• 5.7 中間數(shù)據(jù)排序的優(yōu)化48-50
• 5.8 合并后的性能分析和測(cè)試50-55
• 5.8.1 性能分析50-51
• 5.8.2 測(cè)試集的選取51-52
• 5.8.3 實(shí)驗(yàn)結(jié)果及分析52-55
• 第六章 總結(jié)與展望55-57
• 參考文獻(xiàn)57-59
• 致謝59-61
• 攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文目錄61

【共引文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 劉靜;李躍輝;楊苗苗;許靜;;基于MapReduce的電信客戶流失決策樹(shù)算法研究[J];電腦知識(shí)與技術(shù);2013年30期

2 蔣波濤;王艷東;;基于MapReduce的地圖代數(shù)并行計(jì)算方法[J];測(cè)繪地理信息;2014年03期

3 姜?jiǎng)P強(qiáng);馮霄月;;在數(shù)據(jù)挖掘中一種基于Mapreduce模型的Apriori算法研究[J];計(jì)算機(jī)光盤(pán)軟件與應(yīng)用;2014年14期

4 李帆;何洪林;任小麗;張黎;路倩倩;于貴瑞;;基于MapReduce的空間敏感性分析并行算法設(shè)計(jì)[J];地球信息科學(xué)學(xué)報(bào);2014年06期

5 丁智;林治;;MapReduce編程模型、方法及應(yīng)用綜述[J];電腦知識(shí)與技術(shù);2014年30期

6 楊勇;朱影;;一種基于MapReduce的粗糙集并行屬性約簡(jiǎn)算法[J];重慶郵電大學(xué)學(xué)報(bào)(自然科學(xué)版);2015年01期

7 唐夢(mèng)夢(mèng);吉根林;趙斌;;利用MapReduce的異常軌跡檢測(cè)并行算法[J];地球信息科學(xué)學(xué)報(bào);2015年05期

8 范敏;徐勝才;;基于云計(jì)算的醫(yī)學(xué)圖像檢索系統(tǒng)[J];計(jì)算機(jī)工程與應(yīng)用;2013年21期

9 王振;王雷;王宇;;基于虛擬磁盤(pán)塊存儲(chǔ)的分布式文件系統(tǒng)研究[J];華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版);2013年S2期

10 范敏;徐勝才;;基于Hadoop的海量醫(yī)學(xué)圖像檢索系統(tǒng)[J];計(jì)算機(jī)應(yīng)用;2013年12期

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 劉燦由;電子海圖云服務(wù)關(guān)鍵技術(shù)研究與實(shí)踐[D];解放軍信息工程大學(xué);2013年

2 劉婷婷;面向云計(jì)算的數(shù)據(jù)安全保護(hù)關(guān)鍵技術(shù)研究[D];解放軍信息工程大學(xué);2013年

3 丁澤柳;一體化信息基礎(chǔ)設(shè)施中面向MapReduce的遞歸層次結(jié)構(gòu)數(shù)據(jù)中心網(wǎng)絡(luò)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2012年

4 狄浩;虛擬網(wǎng)絡(luò)的高效和可靠映射算法研究[D];電子科技大學(xué);2013年

5 馬馮;數(shù)據(jù)密集型計(jì)算環(huán)境下貝葉斯網(wǎng)的學(xué)習(xí)、推理及應(yīng)用[D];云南大學(xué);2013年

6 李剛;黑龍江省國(guó)土資源信息數(shù)據(jù)高效利用與服務(wù)研究[D];東北農(nóng)業(yè)大學(xué);2013年

7 劉銳;基于人臉圖像稠密匹配的身份識(shí)別技術(shù)研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2014年

8 耿玉水;面向集團(tuán)企業(yè)的數(shù)據(jù)集成模型構(gòu)建方法研究[D];天津大學(xué);2013年

9 韓泉葉;城市軌道交通線網(wǎng)應(yīng)急安全保障關(guān)鍵技術(shù)研究[D];蘭州交通大學(xué);2014年

10 顧濤;集群MapReduce環(huán)境中任務(wù)和作業(yè)調(diào)度若干關(guān)鍵問(wèn)題的研究[D];南開(kāi)大學(xué);2014年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 廖福蓉;基于任務(wù)備份的云計(jì)算任務(wù)調(diào)度算法研究[D];重慶大學(xué);2013年

2 馮黎明;云環(huán)境下無(wú)線傳感器網(wǎng)絡(luò)服務(wù)研究[D];南京師范大學(xué);2013年

3 但光祥;云計(jì)算環(huán)境下混合加密算法研究與實(shí)現(xiàn)[D];重慶大學(xué);2013年

4 賈玉輝;面向語(yǔ)音交互的云計(jì)算系統(tǒng)的研究[D];中國(guó)海洋大學(xué);2013年

5 范晨熙;基于Hadoop的搜索引擎的研究與應(yīng)用[D];浙江理工大學(xué);2013年

6 趙志龍;Hadoop容錯(cuò)能力測(cè)試平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2013年

7 李憲英;面向BIRIS-Cloud的資源管理框架的研究與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2013年

8 章偉星;基于Hadoop的海量廣告日志分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2013年

9 徐淑琦;基于MapReduce的高性能云計(jì)算任務(wù)調(diào)度技術(shù)的研究[D];北京工業(yè)大學(xué);2013年

10 蘇濤;Platform MapReduce的GUI的設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2012年

  本文關(guān)鍵詞：基于MapReduce的網(wǎng)絡(luò)流量分析系統(tǒng)及其性能優(yōu)化研究，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：350104