本文選題：多源流數(shù)據(jù) + HBase��； 參考：《計(jì)算機(jī)工程與科學(xué)》2017年04期

【摘要】：物聯(lián)網(wǎng)感知流數(shù)據(jù)多以時(shí)序數(shù)據(jù)為主,具有數(shù)據(jù)量大、連續(xù)到達(dá)、多來(lái)源等特點(diǎn)�，F(xiàn)有的基于HBase的交通流數(shù)據(jù)存儲(chǔ)系統(tǒng)在數(shù)據(jù)寫(xiě)入并發(fā)量大時(shí),仍然存在存儲(chǔ)效率低與系統(tǒng)可用性不高的問(wèn)題。針對(duì)該問(wèn)題,設(shè)計(jì)并實(shí)現(xiàn)了基于負(fù)載均衡的多源流數(shù)據(jù)實(shí)時(shí)存儲(chǔ)系統(tǒng)。該系統(tǒng)將數(shù)據(jù)代理擴(kuò)展為集群架構(gòu),提出了一種基于負(fù)載均衡的任務(wù)調(diào)度算法,實(shí)現(xiàn)了任務(wù)與數(shù)據(jù)代理之間的按序匹配,使數(shù)據(jù)代理集群負(fù)載均衡地處理任務(wù),實(shí)現(xiàn)數(shù)據(jù)并行存儲(chǔ)到HBase數(shù)據(jù)庫(kù)中。實(shí)驗(yàn)對(duì)比結(jié)果表明:該系統(tǒng)使各數(shù)據(jù)代理的數(shù)據(jù)分配比例維持在0.3~0.4,同時(shí)以約1.5倍于單數(shù)據(jù)代理的速度將數(shù)據(jù)寫(xiě)入HBase數(shù)據(jù)庫(kù)。
[Abstract]:The perceptual stream data of the Internet of things are mainly temporal data, which have the characteristics of large amount of data, continuous arrival, multiple sources, and so on. The existing HBAS-based traffic flow data storage system still has the problems of low storage efficiency and low system availability when the data is written concurrently. To solve this problem, a real-time storage system of multi-source and stream data based on load-balancing is designed and implemented. The system extends the data agent to cluster architecture, proposes a task scheduling algorithm based on load balancing, realizes the sequential matching between the task and the data agent, and makes the data agent cluster deal with the tasks in a balanced manner. The data is stored in the HBase database in parallel. The experimental results show that the system keeps the data distribution ratio of each data agent at 0.3G0. 4, and writes the data into HBase database at a speed of about 1.5 times that of single data agent.
【作者單位】： 大規(guī)模流數(shù)據(jù)集成與分析技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室;北方工業(yè)大學(xué)數(shù)據(jù)工程研究院;
【基金】：北京市自然科學(xué)基金(4131001)
【分類(lèi)號(hào)】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 范存;;井下儀器高可靠性大容量實(shí)時(shí)存儲(chǔ)系統(tǒng)設(shè)計(jì)[J];中國(guó)石油和化工標(biāo)準(zhǔn)與質(zhì)量;2014年04期

2 李清軍;基于硬盤(pán)的視頻實(shí)時(shí)存儲(chǔ)方法的研究[J];光學(xué)精密工程;2000年02期

3 ;存儲(chǔ)整個(gè)世界——ATP 16GB Class6 SDHC面市[J];電腦迷;2008年05期

4 彭鼎茂;趙俊渭;張法利;;一種水下運(yùn)動(dòng)目標(biāo)軌跡的實(shí)時(shí)存儲(chǔ)系統(tǒng)設(shè)計(jì)[J];電聲技術(shù);2007年01期

5 寧交賢,寧烽,羅兵;一個(gè)新的高速大容量數(shù)據(jù)采集及實(shí)時(shí)存儲(chǔ)處理系統(tǒng)的構(gòu)想和實(shí)現(xiàn)[J];實(shí)驗(yàn)力學(xué);1996年04期

6 展之宏;動(dòng)態(tài)大容量影像數(shù)據(jù)實(shí)時(shí)存儲(chǔ)的研究[J];計(jì)算機(jī)工程;2003年07期

7 展之宏;多驅(qū)動(dòng)器實(shí)現(xiàn)動(dòng)態(tài)大容量影像實(shí)時(shí)存儲(chǔ)[J];計(jì)算機(jī)工程與設(shè)計(jì);2003年05期

8 李彤華;王鑫;;基于SAN構(gòu)建高可用實(shí)時(shí)存儲(chǔ)系統(tǒng)[J];遙測(cè)遙控;2011年05期

9 張定國(guó);李梅;;基于FPGA控制的高速圖像實(shí)時(shí)存儲(chǔ)[J];現(xiàn)代電子技術(shù);2007年16期

10 ;[J];;年期

相關(guān)碩士學(xué)位論文 前1條

1 高巖;數(shù)字圖像實(shí)時(shí)存儲(chǔ)系統(tǒng)的設(shè)計(jì)[D];東北師范大學(xué);2004年

，

本文編號(hào)：2023414