本文關(guān)鍵詞：基于廣域網(wǎng)大數(shù)據(jù)傳輸技術(shù)的研究與實現(xiàn)，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，以及計算機(jī)處理能力的提升，互聯(lián)網(wǎng)產(chǎn)品如雨后春筍般涌現(xiàn)，整個世界正逐漸向萬物互聯(lián)靠近。然而隨之產(chǎn)生的海量數(shù)據(jù)卻困擾著眾多科研工作者，這些數(shù)據(jù)不僅容量大，產(chǎn)生速度快，而且種類繁多，具有跨地域性特點。人們通常將這樣的數(shù)據(jù)稱之為大數(shù)據(jù)，由大數(shù)據(jù)所衍生的一些應(yīng)用，如輿情分析、氣象預(yù)測以及廣告投放等，都具有重要商業(yè)價值和科研價值。大數(shù)據(jù)在廣域網(wǎng)內(nèi)高效穩(wěn)定地傳輸，是大數(shù)據(jù)應(yīng)用的前提，也是進(jìn)行大數(shù)據(jù)分析與處理的基礎(chǔ)。傳統(tǒng)廣域網(wǎng)數(shù)據(jù)傳輸?shù)慕鉀Q方案雖然比較成熟，但在大數(shù)據(jù)時代具有諸多局限性，例如傳輸過程繁瑣，傳輸效率不佳以及不適用于多源數(shù)據(jù)傳輸。 論文對大數(shù)據(jù)傳輸相關(guān)內(nèi)容進(jìn)行了深入研究，重點解決了廣域網(wǎng)內(nèi)數(shù)據(jù)傳輸不穩(wěn)定以及傳輸效率低的問題。本文通過對比研究，選取TCP作為傳輸層協(xié)議，設(shè)計出一種高效的應(yīng)用層報文，以解決傳輸過程繁瑣的問題；通過對相關(guān)數(shù)據(jù)傳輸技術(shù)以及廣域網(wǎng)加速方案的分析與研究，利用推送與收取的思想，，設(shè)計了以事件為驅(qū)動的消息隊列，以保證大數(shù)據(jù)傳輸?shù)目煽啃�；結(jié)合廣域網(wǎng)和大數(shù)據(jù)的特點，通過自動調(diào)節(jié)機(jī)制，設(shè)計了一種高效的資源控制和緩存控制方法，以提高數(shù)據(jù)傳輸?shù)男�；利用JAVA和C語言完成了通信管理模塊、數(shù)據(jù)報封裝模塊、節(jié)點數(shù)據(jù)傳輸模塊以及中心同步模塊的設(shè)計和集成，構(gòu)建了一種基于消息隊列的大數(shù)據(jù)傳輸系統(tǒng)。通過對傳輸系統(tǒng)的功能和性能測試，證明了論文設(shè)計的傳輸系統(tǒng)與其他的傳輸系統(tǒng)相比，傳輸速率和網(wǎng)絡(luò)丟包率都有一定優(yōu)勢。
【關(guān)鍵詞】：大數(shù)據(jù) 數(shù)據(jù)傳輸 消息隊列 分布式技術(shù) 廣域網(wǎng)
【學(xué)位授予單位】：河北科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2014
【分類號】：TP393.2
【目錄】：

• 摘要4-5
• Abstract5-9
• 第1章 緒論9-15
• 1.1 論文研究背景和意義9-10
• 1.2 國內(nèi)外研究現(xiàn)狀10-12
• 1.3 課題研究內(nèi)容12
• 1.4 論文組織結(jié)構(gòu)12-15
• 第2章 相關(guān)內(nèi)容分析15-29
• 2.1 概述15
• 2.2 網(wǎng)絡(luò)傳輸協(xié)議15-19
• 2.2.1 網(wǎng)絡(luò)模型15-16
• 2.2.2 數(shù)據(jù)鏈路層分析16-17
• 2.2.3 網(wǎng)絡(luò)層分析17-18
• 2.2.4 傳輸層分析18-19
• 2.3 數(shù)據(jù)交換格式19-22
• 2.3.1 數(shù)據(jù)交換格式在數(shù)據(jù)傳輸中的地位19
• 2.3.2 常見的數(shù)據(jù)交換格式19-22
• 2.4 消息中間件技術(shù)22-24
• 2.4.1 消息中間件介紹22
• 2.4.2 消息中間件的特點22-23
• 2.4.3 各類消息中間件23-24
• 2.5 分布式技術(shù)24-25
• 2.5.1 分布式技術(shù)的產(chǎn)生24
• 2.5.2 分布式技術(shù)的核心24
• 2.5.3 大數(shù)據(jù)傳輸中的分布式技術(shù)24-25
• 2.6 網(wǎng)絡(luò)編程25-27
• 2.6.1 網(wǎng)絡(luò)編程的概念25
• 2.6.2 Socket 通信過程25-26
• 2.6.3 常見的網(wǎng)絡(luò)編程技術(shù)26-27
• 2.7 本章小結(jié)27-29
• 第3章 傳輸穩(wěn)定高效性對比研究29-41
• 3.1 概述29
• 3.2 傳輸協(xié)議選擇29-34
• 3.2.1 傳輸協(xié)議對比29-30
• 3.2.2 TCP 連接建立與結(jié)束30-33
• 3.2.3 TCP 長連接測試33-34
• 3.3 分布式多線程34-36
• 3.3.1 自適應(yīng)線程池35
• 3.3.2 分布式傳輸35-36
• 3.4 異步傳輸36-37
• 3.5 擁塞控制37-38
• 3.5.1 擁塞控制原理37
• 3.5.2 擁塞控制優(yōu)化37-38
• 3.6 流量控制38-39
• 3.6.1 流量控制原理38
• 3.6.2 流量控制優(yōu)化38-39
• 3.7 本章小結(jié)39-41
• 第4章 大數(shù)據(jù)傳輸系統(tǒng)設(shè)計與實現(xiàn)41-57
• 4.1 系統(tǒng)架構(gòu)組成41
• 4.2 通信管理模塊41-46
• 4.2.1 基礎(chǔ)服務(wù)子模塊42-43
• 4.2.2 傳輸控制子模塊43-44
• 4.2.3 事務(wù)管理子模塊44-46
• 4.3 數(shù)據(jù)報封裝模塊46-48
• 4.3.1 交換格式數(shù)據(jù)生成46-47
• 4.3.2 報文頭部的生成47
• 4.3.3 報文的封裝47-48
• 4.4 節(jié)點數(shù)據(jù)傳輸模塊48-54
• 4.4.1 數(shù)據(jù)發(fā)送與接收48-49
• 4.4.2 本地緩存控制49-51
• 4.4.3 可靠傳輸實現(xiàn)51-52
• 4.4.4 緩沖區(qū)大小設(shè)置52-53
• 4.4.5 中斷處理設(shè)計53-54
• 4.5 中心數(shù)據(jù)同步模塊54-56
• 4.5.1 大數(shù)據(jù)收集器 BD_MC54-55
• 4.5.2 數(shù)據(jù)存儲控制55-56
• 4.6 本章小結(jié)56-57
• 第5章 系統(tǒng)測試57-65
• 5.1 搭建系統(tǒng)測試環(huán)境57-58
• 5.1.1 查看服務(wù)器配置57
• 5.1.2 系統(tǒng)部署57
• 5.1.3 測試指標(biāo)57-58
• 5.2 數(shù)據(jù)傳輸系統(tǒng)功能測試58-60
• 5.3 數(shù)據(jù)傳輸吞吐量對比測試60-63
• 5.4 丟包率對比測試63-64
• 5.5 測試總結(jié)64
• 5.6 本章小結(jié)64-65
• 結(jié)論65-67
• 參考文獻(xiàn)67-71
• 致謝71

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 于曉鵬;陳建孝;李永麗;;基于消息隊列的分布式系統(tǒng)數(shù)據(jù)一致性方法研究[J];吉林大學(xué)學(xué)報(信息科學(xué)版);2011年03期

2 劉喜作;周晶;梁德清;;基于UDP的大數(shù)據(jù)包可靠傳輸[J];電訊技術(shù);2012年01期

3 劉錦德;姜新文;;基于SOA的特種行業(yè)治安管理信息系統(tǒng)研究[J];電腦知識與技術(shù);2008年07期

4 張誠;羅豐;;基于千兆以太網(wǎng)的高速數(shù)據(jù)傳輸系統(tǒng)設(shè)計[J];電子科技;2011年01期

5 王偉;許云峰;高凱;;基于哈希表的動態(tài)向量降維方法的研究及應(yīng)用[J];河北科技大學(xué)學(xué)報;2011年04期

6 趙沖沖;王鑫;胡長軍;;XML格式領(lǐng)域數(shù)據(jù)傳輸?shù)膬?yōu)化技術(shù)研究[J];計算機(jī)科學(xué);2009年08期

7 劉曉建;吳慶波;戴華東;任怡;;一種用于并行系統(tǒng)的非阻塞消息隊列機(jī)制[J];計算機(jī)工程與科學(xué);2011年04期

8 鄭湃;崔立真;王海洋;徐猛;;云計算環(huán)境下面向數(shù)據(jù)密集型應(yīng)用的數(shù)據(jù)布局策略與方法[J];計算機(jī)學(xué)報;2010年08期

9 王珊;王會舉;覃雄派;周p

本文編號：362596