本文關(guān)鍵詞：基于云計算的海量傳感器信息存儲的擴展研究和實現(xiàn)

  更多相關(guān)文章： 海量傳感數(shù)據(jù) HBase 集群擴展 任務(wù)調(diào)度 負(fù)載均衡

【摘要】：隨著"智慧城市"和"互聯(lián)網(wǎng)+"的快速發(fā)展,"智能交通"和"智能電網(wǎng)"的發(fā)展已趨于成熟。最近頻發(fā)的電梯安全事故,又推動了"智能電梯"的發(fā)展。智能電梯系統(tǒng)部署的龐大規(guī)模的傳感器將采集到更大級別的傳感數(shù)據(jù),如何高效存儲采集的海量傳感數(shù)據(jù)仍為物聯(lián)網(wǎng)、云計算和大數(shù)據(jù)領(lǐng)域的難題之一。上述數(shù)據(jù)多以時序數(shù)據(jù)為主,通常具有數(shù)據(jù)量大、持續(xù)到達、多來源等特點,是一種典型的流數(shù)據(jù)�，F(xiàn)有的基于HBase的交通流數(shù)據(jù)實時存儲系統(tǒng),采用了分布式存儲架構(gòu),將交通流數(shù)據(jù)并行存儲到HBase集群服務(wù)器中。但由于上述系統(tǒng)的數(shù)據(jù)代理服務(wù)器是單一服務(wù)器節(jié)點,當(dāng)數(shù)據(jù)寫入并發(fā)量大時,仍然存在存儲效率低下和系統(tǒng)不可用的問題。針對以上問題,本文研究了一種基于云計算的海量傳感信息存儲系統(tǒng)的擴展方法。主要研究工作如下:(1)針對系統(tǒng)不可用問題,對單點數(shù)據(jù)代理進行集群擴展。主要通過將單點擴展為集群架構(gòu),實現(xiàn)系統(tǒng)的高可用性。(2)針對系統(tǒng)存儲性能低下問題,增設(shè)了任務(wù)調(diào)度層,主要包括心跳檢測器和任務(wù)管理器。前者負(fù)責(zé)檢測集群中各個數(shù)據(jù)代理服務(wù)器的健康狀態(tài);后者根據(jù)任務(wù)的資源需求與在線的數(shù)據(jù)代理服務(wù)器的當(dāng)前資源,進行有效映射。(3)為實現(xiàn)集群的負(fù)載均衡,設(shè)計并實現(xiàn)了一種基于負(fù)載均衡的任務(wù)調(diào)度算法。該算法以服務(wù)器集群當(dāng)前的平均處理能力為閾值,將待處理任務(wù)組合并按資源需求從大到小排列,同時對在線的數(shù)據(jù)代理服務(wù)器按照當(dāng)前的處理能力也進行從大到小排列,最后根據(jù)閾值,將任務(wù)與數(shù)據(jù)代理服務(wù)器按序匹配,實現(xiàn)了集群中各個數(shù)據(jù)代理服務(wù)器之間的負(fù)載均衡,提高了系統(tǒng)穩(wěn)定性和存儲性能。最后,通過一系列的實驗結(jié)果及對比分析表明,本文設(shè)計并實現(xiàn)的擴展系統(tǒng)架構(gòu)及調(diào)度算法,具有較好的存儲性能、高可用性和良好的均衡性,既提高了系統(tǒng)的存儲性能,也保證了系統(tǒng)的可用性。
【學(xué)位授予單位】：北方工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TP212;TP333

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 熊安萍;王運萍;鄒洋;;基于數(shù)據(jù)冗余的HBase合并機制研究[J];計算機工程;2017年02期

2 祝若鑫;郭建忠;薛帥;范建永;陳科;;基于HBase的矢量數(shù)據(jù)云存儲策略研究[J];測繪科學(xué)技術(shù)學(xué)報;2016年05期

3 吳琰;唐小明;;基于HBase的分布式空間數(shù)據(jù)庫技術(shù)[J];吉林大學(xué)學(xué)報(理學(xué)版);2016年06期

4 齊林海;陳思路;任旭;熊里;;能源互聯(lián)網(wǎng)信息特征及其云平臺處理技術(shù)[J];電力信息與通信技術(shù);2016年09期

5 徐愛萍;吳笛;徐武平;陳軍;;在線多任務(wù)異構(gòu)云服務(wù)器負(fù)載均衡算法研究[J];計算機科學(xué);2016年06期

6 類興邦;房俊;;基于融合數(shù)據(jù)庫的海量傳感器信息存儲架構(gòu)[J];計算機科學(xué);2016年06期

7 駱劍鋒;陳俞強;;采用環(huán)加星型網(wǎng)絡(luò)結(jié)構(gòu)負(fù)載均衡集群技術(shù)的云平臺設(shè)計[J];華僑大學(xué)學(xué)報(自然科學(xué)版);2016年02期

8 魏蔚;劉揚;楊衛(wèi)東;;一種通用云計算資源調(diào)度問題的快速近似算法[J];計算機研究與發(fā)展;2016年03期

9 薛濤;馬騰;;基于資源權(quán)重最大資源利用率的動態(tài)資源調(diào)度算法[J];計算機應(yīng)用研究;2016年05期

10 楊冬菊;林紹福;張程;;面向信息資源聚合的物聯(lián)網(wǎng)智能信息中心框架[J];計算機工程與科學(xué);2015年02期

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前3條

1 周婉;基于云計算的資源調(diào)度算法研究[D];北京交通大學(xué);2016年

2 王利萍;基于Nginx服務(wù)器集群負(fù)載均衡技術(shù)的研究與改進[D];山東大學(xué);2015年

3 丁學(xué)智;一種面向分布式服務(wù)器集群的動態(tài)負(fù)載均衡系統(tǒng)的實現(xiàn)[D];北京郵電大學(xué);2014年

，

本文編號：1304902