本文關(guān)鍵詞：基于HBase的交通流數(shù)據(jù)實(shí)時(shí)存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，由筆耕文化傳播整理發(fā)布。

【摘要】：隨著大數(shù)據(jù)處理等技術(shù)的快速發(fā)展,現(xiàn)代城市智能交通系統(tǒng)也出現(xiàn)了許多新的發(fā)展機(jī)遇。目前各大城市都建立了專用車輛數(shù)據(jù)采集網(wǎng)絡(luò),所采集的數(shù)據(jù)逐漸形成了極具價(jià)值的大規(guī)模交通流數(shù)據(jù)。上述交通數(shù)據(jù)具有種類多,速率快,總量大的特點(diǎn),使用關(guān)系型數(shù)據(jù)庫(kù)存儲(chǔ)這些交通數(shù)據(jù)時(shí)存在寫(xiě)入延遲高、水平擴(kuò)展能力差等問(wèn)題。以HBase為代表的NoSQL類數(shù)據(jù)庫(kù)由于采用了簡(jiǎn)單數(shù)據(jù)模型,相對(duì)于關(guān)系數(shù)據(jù)庫(kù),具有存儲(chǔ)速度快,擴(kuò)展性高、存儲(chǔ)容量大等特點(diǎn),非常適合作為交通數(shù)據(jù)的存儲(chǔ)介質(zhì)。但是NoSQL數(shù)據(jù)庫(kù)在實(shí)際運(yùn)用過(guò)程中,還存在一些問(wèn)題。就HBase而言：(1)對(duì)于行鍵具有連續(xù)性遞增或者遞減特質(zhì)的流數(shù)據(jù),數(shù)據(jù)寫(xiě)入時(shí)會(huì)形成降低寫(xiě)入性能的寫(xiě)入熱點(diǎn)。此外HBase寫(xiě)入過(guò)程中的參數(shù)設(shè)置也會(huì)對(duì)數(shù)據(jù)庫(kù)的寫(xiě)入性能產(chǎn)生較大影響。(2)HBase集群支持動(dòng)態(tài)擴(kuò)展,但現(xiàn)有工作基本都采用手動(dòng)擴(kuò)展方式,對(duì)自動(dòng)動(dòng)態(tài)擴(kuò)展支持不足。(3)未提供標(biāo)準(zhǔn)SQL語(yǔ)句的查詢接口支持。為此本文設(shè)計(jì)并實(shí)現(xiàn)了一種基于HBASE的交通流數(shù)據(jù)實(shí)時(shí)存儲(chǔ)系統(tǒng)DeCloud-RealBase,主要研究工作如下：1、為提升交通流數(shù)據(jù)的實(shí)時(shí)寫(xiě)入能力,設(shè)計(jì)多級(jí)緩沖、多線程、預(yù)分區(qū)、行鍵結(jié)構(gòu)等寫(xiě)入優(yōu)化策略。此外還實(shí)現(xiàn)了非實(shí)時(shí)的已存在的歷史流數(shù)據(jù)向HBase集群數(shù)據(jù)庫(kù)的遷移。2、在集群擴(kuò)展方面,摒棄了傳統(tǒng)手動(dòng)擴(kuò)展Hadoop集群和HBase集群的方法,通過(guò)shell腳本實(shí)現(xiàn)了HBase集群地動(dòng)態(tài)伸縮。一方面加快了集群擴(kuò)展的速度,另一方面節(jié)省了用戶時(shí)間,也避免了復(fù)雜的集群部署所帶來(lái)的配置失誤問(wèn)題。3、使用開(kāi)源的SQL解析器GSQLParser對(duì)標(biāo)準(zhǔn)的SQL語(yǔ)句進(jìn)行語(yǔ)句和語(yǔ)義的解析,然后將其轉(zhuǎn)化為HBase查詢語(yǔ)言,并結(jié)合HBase的協(xié)處理器Coprocessors實(shí)現(xiàn)了標(biāo)準(zhǔn)的SQL語(yǔ)句在HBase數(shù)據(jù)庫(kù)中地查詢。4、最后對(duì)本系統(tǒng)進(jìn)行了實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)結(jié)果表明,本文系統(tǒng)在大部分情況下?lián)碛辛己玫臄U(kuò)展、存儲(chǔ)和查詢性能,可以滿足實(shí)際需要。
【關(guān)鍵詞】：流數(shù)據(jù) HBase 實(shí)時(shí)存儲(chǔ) 數(shù)據(jù)遷移 動(dòng)態(tài)擴(kuò)展
【學(xué)位授予單位】：北方工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP333
【目錄】：

• 摘要3-4
• ABSTRACT4-8
• 第一章 緒論8-13
• 1.1 論文背景及研究意義8
• 1.2 研究問(wèn)題8-9
• 1.3 研究現(xiàn)狀9-11
• 1.4 研究?jī)?nèi)容11
• 1.5 論文組織結(jié)構(gòu)11-13
• 第二章 相關(guān)技術(shù)13-20
• 2.1 消息中間件ACTIVEMQ13-15
• 2.2 分布式緩存系統(tǒng)MEMCACHED15-16
• 2.3 HADOOP生態(tài)系統(tǒng)16-18
• 2.4 HBASE數(shù)據(jù)庫(kù)18-20
• 第三章 流數(shù)據(jù)實(shí)時(shí)存儲(chǔ)系統(tǒng)設(shè)計(jì)20-33
• 3.1 系統(tǒng)架構(gòu)20-21
• 3.2 數(shù)據(jù)存儲(chǔ)關(guān)鍵設(shè)計(jì)21-25
• 3.2.1 多源緩沖區(qū)結(jié)構(gòu)21-23
• 3.2.2 行鍵(ROW KEY)結(jié)構(gòu)23-24
• 3.2.3 數(shù)據(jù)服務(wù)器預(yù)分區(qū)24-25
• 3.3 數(shù)據(jù)查詢關(guān)鍵設(shè)計(jì)25-32
• 3.3.1 SQL解析25-27
• 3.3.2 MEMCACHED緩存策略27-31
• 3.3.3 過(guò)濾器和協(xié)處理器的使用31-32
• 3.4 本章小結(jié)32-33
• 第四章 流數(shù)據(jù)實(shí)時(shí)存儲(chǔ)系統(tǒng)的實(shí)現(xiàn)33-47
• 4.1 集群配置調(diào)優(yōu)33-34
• 4.2 系統(tǒng)存儲(chǔ)實(shí)現(xiàn)34-41
• 4.2.1 數(shù)據(jù)寫(xiě)入流程34-36
• 4.2.2 數(shù)據(jù)寫(xiě)入調(diào)度算法實(shí)現(xiàn)36-37
• 4.2.3 歷史流數(shù)據(jù)的遷移37-39
• 4.2.4 HBASE集群節(jié)點(diǎn)的動(dòng)態(tài)擴(kuò)展39-40
• 4.2.5 HBASE集群節(jié)點(diǎn)的動(dòng)態(tài)刪除40-41
• 4.3 系統(tǒng)查詢實(shí)現(xiàn)41-46
• 4.3.1 SQL語(yǔ)句在HBASE中的查詢實(shí)現(xiàn)41-43
• 4.3.2 系統(tǒng)支持的查詢43-44
• 4.3.3 數(shù)據(jù)查詢調(diào)度算法實(shí)現(xiàn)44-46
• 4.4 本章小結(jié)46-47
• 第五章 實(shí)驗(yàn)與評(píng)估47-58
• 5.1 存儲(chǔ)性能試驗(yàn)47-50
• 5.2 數(shù)據(jù)遷移實(shí)驗(yàn)50-53
• 5.3 集群動(dòng)態(tài)擴(kuò)展實(shí)驗(yàn)53-55
• 5.4 查詢性能試驗(yàn)55-57
• 5.5 本章小結(jié)57-58
• 第六章 結(jié)論與展望58-60
• 6.1 主要結(jié)論58
• 6.2 研究展望58-60
• 參考文獻(xiàn)60-63
• 在學(xué)期間的研究成果63-64
• 致謝64

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前4條

1 王方;李華;杜金玲;;無(wú)檢測(cè)器道路交通流數(shù)據(jù)質(zhì)量檢測(cè)方法[J];計(jì)算機(jī)工程;2014年03期

2 孫亞;朱鯉;;ITS檢測(cè)器交通流數(shù)據(jù)質(zhì)量控制系統(tǒng)研究[J];測(cè)控技術(shù);2008年07期

3 耿彥峰;趙慧;;單源交通流數(shù)據(jù)質(zhì)量控制算法設(shè)計(jì)與程序?qū)崿F(xiàn)[J];計(jì)算機(jī)工程與應(yīng)用;2009年06期

4 ;[J];;年期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前3條

1 胡偉超;劉君叢;浩哲;肖鵬飛;;實(shí)時(shí)交通流數(shù)據(jù)缺失修復(fù)方法對(duì)比研究[A];第八屆中國(guó)智能交通年會(huì)論文集[C];2013年

2 張亞平;裴玉龍;周剛;;交通流數(shù)據(jù)采集、處理及其在通行能力分析中的應(yīng)用研究[A];土木工程與高新技術(shù)——中國(guó)土木工程學(xué)會(huì)第十屆年會(huì)論文集[C];2002年

3 趙慧;于雷;陳旭梅;耿彥斌;;ITS實(shí)時(shí)交通流數(shù)據(jù)質(zhì)量控制方法研究與案例分析[A];第一屆中國(guó)智能交通年會(huì)論文集[C];2005年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前1條

1 丁男;基于WSN的實(shí)時(shí)動(dòng)態(tài)交通流數(shù)據(jù)獲取相關(guān)技術(shù)研究[D];大連理工大學(xué);2011年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前8條

1 陸婷;基于HBase的交通流數(shù)據(jù)實(shí)時(shí)存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];北方工業(yè)大學(xué);2016年

2 金逸文;城市快速路交通流數(shù)據(jù)修復(fù)方法研究[D];上海交通大學(xué);2008年

3 吳芳;交通流數(shù)據(jù)清洗的關(guān)鍵理論及方法研究[D];山東理工大學(xué);2009年

4 蒲樺隆;基于Qt/E的實(shí)時(shí)交通流數(shù)據(jù)顯示系統(tǒng)的研究[D];云南大學(xué);2015年

5 洪智兵;基于GPRS的實(shí)時(shí)交通流數(shù)據(jù)接發(fā)系統(tǒng)的研究[D];云南大學(xué);2015年

6 馬韻楠;基于模糊綜合評(píng)價(jià)的道路交通流數(shù)據(jù)質(zhì)量評(píng)價(jià)研究[D];北京交通大學(xué);2015年

7 張旭;面向交通運(yùn)行狀態(tài)評(píng)價(jià)的多源異質(zhì)交通流數(shù)據(jù)融合技術(shù)方法研究[D];北京交通大學(xué);2008年

8 胡淼;基于Paramics平臺(tái)的交通仿真設(shè)計(jì)[D];北京交通大學(xué);2011年

  本文關(guān)鍵詞：基于HBase的交通流數(shù)據(jù)實(shí)時(shí)存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：400161