本文選題：多源流數(shù)據(jù) + HBase��； 參考：《計算機(jī)工程與科學(xué)》2017年04期

【摘要】：物聯(lián)網(wǎng)感知流數(shù)據(jù)多以時序數(shù)據(jù)為主,具有數(shù)據(jù)量大、連續(xù)到達(dá)、多來源等特點(diǎn)�，F(xiàn)有的基于HBase的交通流數(shù)據(jù)存儲系統(tǒng)在數(shù)據(jù)寫入并發(fā)量大時,仍然存在存儲效率低與系統(tǒng)可用性不高的問題。針對該問題,設(shè)計并實(shí)現(xiàn)了基于負(fù)載均衡的多源流數(shù)據(jù)實(shí)時存儲系統(tǒng)。該系統(tǒng)將數(shù)據(jù)代理擴(kuò)展為集群架構(gòu),提出了一種基于負(fù)載均衡的任務(wù)調(diào)度算法,實(shí)現(xiàn)了任務(wù)與數(shù)據(jù)代理之間的按序匹配,使數(shù)據(jù)代理集群負(fù)載均衡地處理任務(wù),實(shí)現(xiàn)數(shù)據(jù)并行存儲到HBase數(shù)據(jù)庫中。實(shí)驗(yàn)對比結(jié)果表明:該系統(tǒng)使各數(shù)據(jù)代理的數(shù)據(jù)分配比例維持在0.3~0.4,同時以約1.5倍于單數(shù)據(jù)代理的速度將數(shù)據(jù)寫入HBase數(shù)據(jù)庫。
[Abstract]:The perceptual stream data of the Internet of things are mainly temporal data, which have the characteristics of large amount of data, continuous arrival, multiple sources, and so on. The existing HBAS-based traffic flow data storage system still has the problems of low storage efficiency and low system availability when the data is written concurrently. To solve this problem, a real-time storage system of multi-source and stream data based on load-balancing is designed and implemented. The system extends the data agent to cluster architecture, proposes a task scheduling algorithm based on load balancing, realizes the sequential matching between the task and the data agent, and makes the data agent cluster deal with the tasks in a balanced manner. The data is stored in the HBase database in parallel. The experimental results show that the system keeps the data distribution ratio of each data agent at 0.3G0. 4, and writes the data into HBase database at a speed of about 1.5 times that of single data agent.
【作者單位】： 大規(guī)模流數(shù)據(jù)集成與分析技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室;北方工業(yè)大學(xué)數(shù)據(jù)工程研究院;
【基金】：北京市自然科學(xué)基金(4131001)
【分類號】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 范存;;井下儀器高可靠性大容量實(shí)時存儲系統(tǒng)設(shè)計[J];中國石油和化工標(biāo)準(zhǔn)與質(zhì)量;2014年04期

2 李清軍;基于硬盤的視頻實(shí)時存儲方法的研究[J];光學(xué)精密工程;2000年02期

3 ;存儲整個世界——ATP 16GB Class6 SDHC面市[J];電腦迷;2008年05期

4 彭鼎茂;趙俊渭;張法利;;一種水下運(yùn)動目標(biāo)軌跡的實(shí)時存儲系統(tǒng)設(shè)計[J];電聲技術(shù);2007年01期

5 寧交賢,寧烽,羅兵;一個新的高速大容量數(shù)據(jù)采集及實(shí)時存儲處理系統(tǒng)的構(gòu)想和實(shí)現(xiàn)[J];實(shí)驗(yàn)力學(xué);1996年04期

6 展之宏;動態(tài)大容量影像數(shù)據(jù)實(shí)時存儲的研究[J];計算機(jī)工程;2003年07期

7 展之宏;多驅(qū)動器實(shí)現(xiàn)動態(tài)大容量影像實(shí)時存儲[J];計算機(jī)工程與設(shè)計;2003年05期

8 李彤華;王鑫;;基于SAN構(gòu)建高可用實(shí)時存儲系統(tǒng)[J];遙測遙控;2011年05期

9 張定國;李梅;;基于FPGA控制的高速圖像實(shí)時存儲[J];現(xiàn)代電子技術(shù);2007年16期

10 ;[J];;年期

相關(guān)碩士學(xué)位論文 前1條

1 高巖;數(shù)字圖像實(shí)時存儲系統(tǒng)的設(shè)計[D];東北師范大學(xué);2004年

，

本文編號：2023414