【摘要】：隨著交通數(shù)據(jù)量的爆炸式增長(zhǎng),傳統(tǒng)的交通數(shù)據(jù)處理手段在處理PB級(jí)的交通數(shù)據(jù)量時(shí)效率低下,云計(jì)算技術(shù)的出現(xiàn)為解決這個(gè)問(wèn)題提供了方向。交通云將交通大數(shù)據(jù)和Hadoop云平臺(tái)結(jié)合起來(lái),利用Hadoop的非關(guān)系型數(shù)據(jù)庫(kù)HBase實(shí)現(xiàn)對(duì)交通大數(shù)據(jù)的處理。HBase采用橫向擴(kuò)展的方式,通過(guò)多臺(tái)廉價(jià)服務(wù)器實(shí)現(xiàn)海量數(shù)據(jù)的存儲(chǔ),并且具有高可靠性和高穩(wěn)定性的特點(diǎn)。首先,提出了基于HBase的交通大數(shù)據(jù)存儲(chǔ)方案。傳統(tǒng)的關(guān)系型數(shù)據(jù)在存儲(chǔ)交通大數(shù)據(jù)時(shí)存在容量小和效率低的問(wèn)題,而且交通數(shù)據(jù)訪問(wèn)具有隨機(jī)性的特點(diǎn),為此選擇交互式訪問(wèn)效率較高的HBase的進(jìn)行交通數(shù)據(jù)存儲(chǔ)。同時(shí),為了提高HBase存儲(chǔ)效率和訪問(wèn)速度,通過(guò)對(duì)歷史交通數(shù)據(jù)的調(diào)研分析,構(gòu)建特定行鍵的HBase表格,并且在HBase僅有的主鍵查詢(xún)的基礎(chǔ)上增加特定的二級(jí)索引,提高查詢(xún)的速度。其次,提出了基于Phoenix on HBase的查詢(xún)SQL查詢(xún)方案。原生HBase不支持SQL查詢(xún),只能通過(guò)特定行鍵或者全局掃描的方式獲取數(shù)據(jù)。面對(duì)無(wú)法識(shí)別標(biāo)準(zhǔn)SQL語(yǔ)句的HBase數(shù)據(jù)庫(kù)時(shí),很難滿(mǎn)足用戶(hù)習(xí)以為常的標(biāo)準(zhǔn)的SQL查詢(xún)習(xí)慣,為此采用Phoenix實(shí)現(xiàn)SQL解析,將SQL語(yǔ)句轉(zhuǎn)換成適合HBase執(zhí)行的語(yǔ)句,不僅方便HBase的使用而且提高了查詢(xún)效率。最后,提出了基于機(jī)器學(xué)習(xí)的HBase自動(dòng)調(diào)參方案。HBase配置參數(shù)作為HBase集群工作過(guò)程中分配資源的依據(jù),直接決定HBase集群性能的好壞。HBase具有高達(dá)200個(gè)配置參數(shù),而默認(rèn)配置往往性能低下,一般在面對(duì)如此多參數(shù)的時(shí)候,大部分的開(kāi)發(fā)者都會(huì)根據(jù)自己的實(shí)際經(jīng)驗(yàn)手動(dòng)配置,但是這樣往往比較耗時(shí)而且不是全局最優(yōu)。為此采用機(jī)器學(xué)習(xí)算法,通過(guò)隨機(jī)森林算法建立關(guān)于配置參數(shù)的性能模型,并且采用遺傳算法快速找出性能最優(yōu)的配置參數(shù),這樣能最快速的以最大的概率找到最優(yōu)配置參數(shù)。通過(guò)采用HBase進(jìn)行系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn),進(jìn)而對(duì)系統(tǒng)中的查詢(xún)進(jìn)行優(yōu)化,以及對(duì)系統(tǒng)的整體查詢(xún)性能進(jìn)行測(cè)試,結(jié)果表明采用HBase處理交通大數(shù)據(jù)具有高可靠和速度快的特點(diǎn)。
【學(xué)位授予單位】：蘭州交通大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2018
【分類(lèi)號(hào)】：U495;TP311.13
【圖文】：

圖3.12時(shí)間查詢(xún)

YCSB負(fù)載設(shè)置

YCSB測(cè)試執(zhí)行結(jié)果

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 孟云俠;;基于HBase的分布式電源控制系統(tǒng)研究[J];電源技術(shù);2017年09期

2 馮小萍;高俊;;分布式數(shù)據(jù)庫(kù)HBase[J];信息通信;2015年07期

3 申丹丹;;一種HBase空間索引設(shè)計(jì)[J];信息與電腦(理論版);2016年08期

4 張智;龔宇;;分布式存儲(chǔ)系統(tǒng)HBase關(guān)鍵技術(shù)研究[J];現(xiàn)代計(jì)算機(jī)(專(zhuān)業(yè)版);2014年32期

5 仇偉濤;范家銘;李丹;;一種基于HBase的高效半結(jié)構(gòu)化數(shù)據(jù)查詢(xún)策略[J];福建電腦;2014年11期

6 溫師偉;黃文軍;王完英;;基于HBase的電子商務(wù)系統(tǒng)設(shè)計(jì)[J];數(shù)字技術(shù)與應(yīng)用;2014年02期

7 王紅;孫康;;基于HBase的領(lǐng)域本體存儲(chǔ)方法及其應(yīng)用研究[J];計(jì)算機(jī)工程與科學(xué);2016年07期

8 杜曉東;;大數(shù)據(jù)環(huán)境下基于Hbase的分布式查詢(xún)優(yōu)化研究[J];計(jì)算機(jī)光盤(pán)軟件與應(yīng)用;2014年08期

9 倪思穎;;HBase的物理、邏輯結(jié)構(gòu)以及數(shù)據(jù)操作和適用場(chǎng)景探析[J];信息與電腦(理論版);2016年01期

10 陳波;;基于HBASE分布式存儲(chǔ)的通用海量日志系統(tǒng)設(shè)計(jì)方法研究[J];信息通信;2017年06期

相關(guān)會(huì)議論文 前10條

1 熊明;熊嵐;唐常杰;;HBASE的時(shí)態(tài)查詢(xún)語(yǔ)言和編譯器[A];第十屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集[C];1992年

2 聶竹青;陳智明;陳義明;;基于HBase的房地產(chǎn)估價(jià)大數(shù)據(jù)整合策略[A];挑戰(zhàn)與展望——大數(shù)據(jù)時(shí)代房地產(chǎn)估價(jià)和經(jīng)紀(jì)行業(yè)發(fā)展論文集[C];2013年

3 張?zhí)鞈c;魏志毅;周韜;唐常杰;于中華;;有效時(shí)間自然聯(lián)結(jié)在HBase中的實(shí)現(xiàn)算法[A];數(shù)據(jù)庫(kù)研究與進(jìn)展95——第十三屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集[C];1995年

4 陳希林;馬丁;;針對(duì)微博信息分析的HBase存儲(chǔ)結(jié)構(gòu)設(shè)計(jì)[A];第31次全國(guó)計(jì)算機(jī)安全學(xué)術(shù)交流會(huì)論文集[C];2016年

5 王小碧;張文麗;杜德道;吳壽勇;;云計(jì)算中基于HBase的電力矢量數(shù)據(jù)模型及存儲(chǔ)方式[A];2016電力行業(yè)信息化年會(huì)論文集[C];2016年

6 趙沖;毛雪岷;;基于Hadoop云平臺(tái)的海量瓦片數(shù)據(jù)管理對(duì)比研究[A];第十二屆（2017）中國(guó)管理學(xué)年會(huì)論文集[C];2017年

7 田勝利;徐錫山;楊樹(shù)強(qiáng);華中杰;;針對(duì)HBase的MapReduce訪問(wèn)接口的優(yōu)化[A];第九屆中國(guó)通信學(xué)會(huì)學(xué)術(shù)年會(huì)論文集[C];2012年

8 王建榮;;基于HBase的雷達(dá)氣象資料存儲(chǔ)管理系統(tǒng)設(shè)計(jì)[A];第34屆中國(guó)氣象學(xué)會(huì)年會(huì) S20 氣象數(shù)據(jù)：深度應(yīng)用和標(biāo)準(zhǔn)化論文集[C];2017年

9 王利強(qiáng);何雪梅;唐常杰;;基于時(shí)態(tài)數(shù)據(jù)庫(kù)的環(huán)球網(wǎng)上的數(shù)據(jù)采掘[A];數(shù)據(jù)庫(kù)研究進(jìn)展97——第十四屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（下）[C];1997年

10 生昕格;;基于hadoop的交通云數(shù)據(jù)處理平臺(tái)設(shè)計(jì)[A];第七屆中國(guó)智能交通年會(huì)優(yōu)秀論文集——智能交通應(yīng)用[C];2012年

相關(guān)碩士學(xué)位論文 前10條

1 蘇旭博;基于HBase的交通大數(shù)據(jù)查詢(xún)優(yōu)化研究[D];蘭州交通大學(xué);2018年

2 達(dá)呼;基于HBase的工業(yè)云系統(tǒng)架構(gòu)研究[D];北方工業(yè)大學(xué);2018年

3 李美瑤;基于HBase的報(bào)表管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];西安電子科技大學(xué);2016年

4 李崇欣;分布式數(shù)據(jù)庫(kù)HBase快照的設(shè)計(jì)與實(shí)現(xiàn)[D];浙江大學(xué);2011年

5 孫康;基于HBase的領(lǐng)域本體存儲(chǔ)與查詢(xún)方法研究[D];中國(guó)民航大學(xué);2016年

6 欒洋洋;分布式數(shù)據(jù)庫(kù)HBase故障恢復(fù)方法研究[D];蘭州理工大學(xué);2013年

7 李冬;面向?qū)崟r(shí)交通流數(shù)據(jù)的HBase輔助索引技術(shù)研究和實(shí)現(xiàn)[D];北方工業(yè)大學(xué);2017年

8 雷云鵬;基于HBase的車(chē)輛軌跡數(shù)據(jù)管理與分析[D];西南交通大學(xué);2017年

9 陳漢;HBase支持圖數(shù)據(jù)的存儲(chǔ)與查詢(xún)[D];北京郵電大學(xué);2016年

10 何偉崗;基于HBase的多決策反饋式計(jì)算模型的研究與實(shí)現(xiàn)[D];西安電子科技大學(xué);2012年

本文編號(hào)：2805002