隨著我國(guó)互聯(lián)網(wǎng)的飛速發(fā)展,國(guó)民經(jīng)濟(jì)與互聯(lián)網(wǎng)技術(shù)革新的聯(lián)系愈發(fā)緊密�；ヂ�(lián)網(wǎng)服務(wù)客戶數(shù)量每年不斷攀升,接入互聯(lián)網(wǎng)的各類終端設(shè)備不斷增加,越來(lái)越多的企業(yè)開(kāi)始依托互聯(lián)網(wǎng)進(jìn)行業(yè)務(wù)擴(kuò)展。由各類數(shù)據(jù)終端產(chǎn)生的海量數(shù)據(jù)而衍生出的應(yīng)用如客戶行為跟蹤、輿情分析、廣告投放等,具有高昂的商業(yè)價(jià)值與科研價(jià)值。然而這些數(shù)據(jù)因其容量大、產(chǎn)生速度快、種類繁多及跨地域等特點(diǎn)而使得它們對(duì)采集與傳輸技術(shù)水平的要求極高,成為了科研工作者的難題。大數(shù)據(jù)采集和在廣域網(wǎng)內(nèi)的有效傳輸是大數(shù)據(jù)應(yīng)用的基礎(chǔ),也是大數(shù)據(jù)分析處理的基礎(chǔ),系統(tǒng)需要根據(jù)該應(yīng)用場(chǎng)景進(jìn)行針對(duì)性設(shè)計(jì)。本文首先介紹了大數(shù)據(jù)傳輸中消息隊(duì)列技術(shù)與負(fù)載均衡技術(shù)的背景知識(shí),詳細(xì)說(shuō)明了數(shù)據(jù)采集與傳輸系統(tǒng)的架構(gòu),對(duì)系統(tǒng)中涉及到的相關(guān)技術(shù),如分布式協(xié)調(diào)技術(shù)、存儲(chǔ)技術(shù)等進(jìn)行了詳細(xì)的介紹,在此背景下提出了消息隊(duì)列優(yōu)化方案;其次,對(duì)文件服務(wù)器集群中負(fù)載均衡關(guān)鍵技術(shù)進(jìn)行探究,經(jīng)過(guò)對(duì)于傳統(tǒng)負(fù)載均衡算法優(yōu)劣分析,設(shè)計(jì)了一種嶄新的動(dòng)態(tài)負(fù)載均衡算法,解決了傳統(tǒng)算法在異構(gòu)集群表現(xiàn)不佳,對(duì)實(shí)時(shí)負(fù)載變化敏感度不足的問(wèn)題。最后,對(duì)文中提出的方案就負(fù)載效果、數(shù)據(jù)實(shí)時(shí)性效果方面與傳統(tǒng)數(shù)據(jù)傳輸方案中相對(duì)應(yīng)技術(shù)進(jìn)行了對(duì)比實(shí)驗(yàn)。
【學(xué)位單位】：北京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位年份】：2019
【中圖分類】：TP311.13;TP393.06
【部分圖文】：

?探針設(shè)備??圖２－１海量數(shù)據(jù)采集與傳輸系統(tǒng)架構(gòu)圖??如圖２－１所示，數(shù)據(jù)采集與傳輸系統(tǒng)為四層結(jié)構(gòu)系統(tǒng)，其層次結(jié)構(gòu)包括數(shù)據(jù)??采集層、傳輸層、數(shù)據(jù)存儲(chǔ)與預(yù)處理層、業(yè)務(wù)處理層。本文根據(jù)其在實(shí)際業(yè)務(wù)場(chǎng)??景中的應(yīng)用對(duì)各層次功能進(jìn)行闡述。??２．２＿１采集層??在數(shù)據(jù)采集層，采用專用的硬件探針設(shè)備，該硬件探針設(shè)備為ＭＩＰＳ??７??

名稱從０開(kāi)始，之后每一個(gè)Ｓｅｇｍｅｎｔ文件命名為上一個(gè)Ｓｅｇｍｅｎｔ文件最后一條消??息的ｏｆｆｓｅｔ。這種稀疏索引方式有效降低了對(duì)存儲(chǔ)空間的需求。Ｋａｆｋａ磁盤(pán)存儲(chǔ)??結(jié)構(gòu)如圖３－２所示。??１４??

??—＾??圖３－１?Ｋａｆｋａ數(shù)據(jù)寫(xiě)入過(guò)程??３．２．２數(shù)據(jù)管理技術(shù)??消息隊(duì)列需要保證流式數(shù)據(jù)的ＦＩＦＯ特性，并且大數(shù)據(jù)技術(shù)桟中的并發(fā)計(jì)算??方式同樣需要分區(qū)內(nèi)數(shù)據(jù)可以高速有序讀取，因此必要的數(shù)據(jù)管理機(jī)制具有重大??意義。??Ｋａ＆ａ存儲(chǔ)邏輯中，通過(guò)數(shù)據(jù)分區(qū)及消息標(biāo)識(shí)Ｏｆｆｓｅｔ機(jī)制進(jìn)行數(shù)據(jù)管理。??Ｋａｆｋａ中每個(gè)Ｔｏｐｉｃ劃分為一組互相獨(dú)立的分區(qū)，這些分區(qū)的語(yǔ)義由數(shù)據(jù)生產(chǎn)者??客戶端Ｐｒｏｄｕｃｅｒ定義，并且Ｐｒｏｄｕｃｅｒ指定每條消息存儲(chǔ)于哪個(gè)分區(qū)內(nèi)。Ｐｒｏｄｕｃｅｒ??端上傳數(shù)據(jù)時(shí)，己經(jīng)將每條Ｍｅｓｓａｇｅ按照一定的分區(qū)函數(shù)劃分到分區(qū)相應(yīng)的隊(duì)列??中，隊(duì)列中數(shù)據(jù)按批次上傳至Ｋａ＆ａ集群。這種處理方式確保了不需要為每一條??數(shù)據(jù)存儲(chǔ)一條元數(shù)據(jù)
【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 邰宇;;基于海量數(shù)據(jù)消息隊(duì)列的性能比較及其優(yōu)化[J];科技傳播;2018年03期

2 胡志輝;牛德雄;許國(guó)慶;;消息隊(duì)列管理在信息交換中的研究[J];計(jì)算機(jī)與現(xiàn)代化;2009年01期

3 鄧波;防止消息隊(duì)列阻塞的辦法[J];華南金融電腦;2003年06期

4 肖翼翔,萬(wàn)慶萱,王長(zhǎng)年,蘇厚勒;基于消息隊(duì)列機(jī)制的中間件及其在一卡通項(xiàng)目中的應(yīng)用[J];微型電腦應(yīng)用;2000年07期

5 沈華峰;;如何實(shí)現(xiàn)進(jìn)程通信的程序設(shè)計(jì)——消息隊(duì)列方法[J];上海微型計(jì)算機(jī);1998年16期

6 逄煥眾;用于進(jìn)程間通信的消息隊(duì)列探討[J];中國(guó)金融電腦;1998年08期

7 王穎;李立新;黃偉健;;基于消息隊(duì)列的數(shù)據(jù)庫(kù)并發(fā)服務(wù)器的實(shí)現(xiàn)[J];微計(jì)算機(jī)信息;2006年03期

8 周世杰;劉錦德;秦志光;;消息隊(duì)列技術(shù)研究:綜述與一個(gè)實(shí)例[J];計(jì)算機(jī)科學(xué);2002年02期

9 張英輝;;消息隊(duì)列技術(shù)在短信通信中的應(yīng)用[J];中小企業(yè)管理與科技(上旬刊);2013年03期

10 穆榮均;;消息隊(duì)列漫談[J];程序員;2010年11期

相關(guān)博士學(xué)位論文 前2條

1 盧本捷;分布式消息隊(duì)列的理論、實(shí)現(xiàn)與應(yīng)用[D];華中科技大學(xué);2004年

2 苑洪亮;基于內(nèi)容的“發(fā)布/訂閱”若干關(guān)鍵技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2006年

相關(guān)碩士學(xué)位論文 前10條

1 侯偉光;互聯(lián)網(wǎng)海量流量信息采集與傳輸關(guān)鍵技術(shù)的研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2019年

2 朱輝輝;高并發(fā)電商評(píng)論系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];南京大學(xué);2019年

3 高凡;消息隊(duì)列技術(shù)在車(chē)聯(lián)網(wǎng)綜合信息平臺(tái)系統(tǒng)的應(yīng)用研究[D];湖北大學(xué);2018年

4 解曉鵬;云聯(lián)絡(luò)系統(tǒng)中基于消息隊(duì)列的分布式網(wǎng)關(guān)的研究與應(yīng)用[D];西安電子科技大學(xué);2018年

5 李斌超;基于消息隊(duì)列的iSIGHT模型文件管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];北京工業(yè)大學(xué);2018年

6 方文權(quán);基于視頻信息的情緒感知系統(tǒng)的研究與實(shí)現(xiàn)[D];電子科技大學(xué);2018年

7 韓旭;螞蟻金服消息隊(duì)列運(yùn)維平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D];南京大學(xué);2018年

8 于閣;基于消息隊(duì)列引擎的智能家居移動(dòng)控制系統(tǒng)的研究與設(shè)計(jì)[D];吉林大學(xué);2018年

9 丁屹峰;農(nóng)信系統(tǒng)的短信平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[D];東南大學(xué);2018年

10 王鄭合;基于Kafka的消息隊(duì)列在射天文數(shù)據(jù)處理中應(yīng)用的研究[D];昆明理工大學(xué);2017年

本文編號(hào)：2854963