本文關(guān)鍵詞：智慧高速海量異構(gòu)數(shù)據(jù)處理關(guān)鍵技術(shù)研究

  更多相關(guān)文章： 智慧高速 數(shù)據(jù)遷移 數(shù)據(jù)存儲(chǔ) 數(shù)據(jù)檢索

【摘要】：高速公路作為經(jīng)濟(jì)運(yùn)輸大動(dòng)脈,承擔(dān)的運(yùn)輸量與經(jīng)濟(jì)和社會(huì)需求同步增長(zhǎng)。目前高速公路在建設(shè)管理、運(yùn)營(yíng)管理、養(yǎng)護(hù)管理及服務(wù)等方面也呈現(xiàn)出一些問(wèn)題,如體制分散、缺乏統(tǒng)一協(xié)調(diào),出現(xiàn)了“信息孤島”、缺乏對(duì)交通信息的綜合利用等。隨著物聯(lián)網(wǎng)、云計(jì)算、人工智能、自動(dòng)控制、移動(dòng)互聯(lián)網(wǎng)等技術(shù)在交通領(lǐng)域中的充分運(yùn)用,“智慧高速”也應(yīng)運(yùn)而生。智慧高速通過(guò)充分地“感知”高速公路,實(shí)現(xiàn)信息深度融合、數(shù)據(jù)分析和挖掘,采用準(zhǔn)確的模型和控制系統(tǒng),為管理者和出行者提供協(xié)同管理和智慧服務(wù)。但在智慧高速建設(shè)過(guò)程中,“感知”的數(shù)據(jù)具有種類(lèi)繁多、數(shù)據(jù)量大、存儲(chǔ)分散等特性,因此數(shù)據(jù)的有效存儲(chǔ)、高效率的數(shù)據(jù)檢索、數(shù)據(jù)的深度融合是目前智慧高速重點(diǎn)研究?jī)?nèi)容之一。本文以某區(qū)智慧高速為研究對(duì)象,結(jié)合當(dāng)前該區(qū)智慧高速的建設(shè)情況及數(shù)據(jù)的特點(diǎn),以Hadoop大數(shù)據(jù)平臺(tái)為基礎(chǔ),對(duì)智慧高速數(shù)據(jù)中心海量異構(gòu)數(shù)據(jù)處理的相關(guān)關(guān)鍵技術(shù)進(jìn)行研究,主要有以下幾方面的研究工作。(1)分析云計(jì)算和Hadoop相關(guān)技術(shù),主要包含HDFS分布式文件、MapReduce分布式計(jì)算框架和HBase分布式數(shù)據(jù)庫(kù)等技術(shù)。(2)在對(duì)該區(qū)智慧高速建設(shè)情況和數(shù)據(jù)特點(diǎn)分析基礎(chǔ)上,構(gòu)建了智慧高速海量異構(gòu)數(shù)據(jù)處理總體架構(gòu),實(shí)現(xiàn)了海量異構(gòu)數(shù)據(jù)處理流程。同時(shí),根據(jù)用戶(hù)的需求,確定了智慧高速海量異構(gòu)數(shù)據(jù)處理的相關(guān)關(guān)鍵技術(shù),包括數(shù)據(jù)遷移、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)檢索技術(shù)等。(3)實(shí)現(xiàn)了智慧高速海量異構(gòu)數(shù)據(jù)關(guān)鍵技術(shù)中的數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)遷移、數(shù)據(jù)檢索等的研究和方案設(shè)計(jì)。設(shè)計(jì)了數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)、關(guān)系型數(shù)據(jù)表與HBase表的映射規(guī)則。提出了基于磁盤(pán)讀寫(xiě)調(diào)度的結(jié)構(gòu)化數(shù)據(jù)遷移和基于Apache VFS的非結(jié)構(gòu)化數(shù)據(jù)遷移方案。設(shè)計(jì)了一種基于HBase二級(jí)索引的數(shù)據(jù)檢索策略,結(jié)合數(shù)據(jù)緩存層,提高復(fù)雜條件的數(shù)據(jù)檢索效率。(4)在智慧高速海量異構(gòu)數(shù)據(jù)處理總體架構(gòu)上,對(duì)智慧高速海量異構(gòu)數(shù)據(jù)處理關(guān)鍵技術(shù)進(jìn)行了實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)結(jié)果表明:基于磁盤(pán)讀寫(xiě)調(diào)度器的結(jié)構(gòu)化數(shù)據(jù)遷移與默認(rèn)調(diào)度器相比,隨著數(shù)據(jù)遷移量的增加,遷移效率明顯提升;設(shè)計(jì)的非結(jié)構(gòu)化數(shù)據(jù)遷移方案支持多線(xiàn)程并發(fā)操作,隨著線(xiàn)程的增加,遷移速度越快;改進(jìn)的數(shù)據(jù)檢索方法的檢索效率高于原始HBase的檢索效率,同時(shí)利用數(shù)據(jù)緩存,檢索效率大大高于直接從已經(jīng)建立索引的HBase的檢索效率。
【學(xué)位授予單位】：重慶交通大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類(lèi)號(hào)】：U495;TP311.13

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 張銳,李海濤;異構(gòu)數(shù)據(jù)的管理方法及異構(gòu)數(shù)據(jù)源的集成研究[J];機(jī)電工程技術(shù);2005年09期

2 嚴(yán)宏;;基于自適應(yīng)模板的異構(gòu)數(shù)據(jù)轉(zhuǎn)換技術(shù)研究與實(shí)現(xiàn)[J];中國(guó)民航飛行學(xué)院學(xué)報(bào);2013年03期

3 黎敬濤;分布計(jì)算與異構(gòu)數(shù)據(jù)環(huán)境分析[J];昆明理工大學(xué)學(xué)報(bào);1999年02期

4 周江川;彭川;;應(yīng)急系統(tǒng)中不確定性異構(gòu)數(shù)據(jù)的交換與集成[J];重慶理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2010年08期

5 申強(qiáng);李杰;孫發(fā)魚(yú);曹屹;;核監(jiān)測(cè)多源異構(gòu)數(shù)據(jù)融合體系與方法[J];探測(cè)與控制學(xué)報(bào);2007年04期

6 楊欣欣;黃少濱;;基于圖劃分的網(wǎng)狀高階異構(gòu)數(shù)據(jù)聯(lián)合聚類(lèi)算法[J];四川大學(xué)學(xué)報(bào)(工程科學(xué)版);2014年02期

7 金正淑,王彥彬,范小玲;基于XML的電力企業(yè)管理中異構(gòu)數(shù)據(jù)共享[J];東北電力學(xué)院學(xué)報(bào);2005年01期

8 赫偉珊;齊林海;林天華;;電能質(zhì)量分析系統(tǒng)中異構(gòu)數(shù)據(jù)交換的實(shí)現(xiàn)方法[J];電力科學(xué)與工程;2009年11期

9 謝芳華,任午令,唐任仲;基于XML的異構(gòu)數(shù)據(jù)交換集成技術(shù)及其實(shí)現(xiàn)[J];制造業(yè)自動(dòng)化;2004年04期

10 鄒東偉;黃湘林;;圖書(shū)館異構(gòu)數(shù)據(jù)的XML整合研究[J];東莞理工學(xué)院學(xué)報(bào);2007年03期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前6條

1 姚燕;李湘;郭萍;鄭波;;基于中間件的異構(gòu)數(shù)據(jù)檢索服務(wù)[A];2011年中國(guó)氣象學(xué)會(huì)氣象通信與信息技術(shù)委員會(huì)暨國(guó)家氣象信息中心科技年會(huì)論文摘要[C];2011年

2 伍尚杰;陳立定;曾明;;基于XML異構(gòu)數(shù)據(jù)的組態(tài)軟件[A];中南六省（區(qū)）自動(dòng)化學(xué)會(huì)第24屆學(xué)術(shù)年會(huì)會(huì)議論文集[C];2006年

3 李剛;高春陽(yáng);崔明;;高校異構(gòu)數(shù)據(jù)整合平臺(tái)建設(shè)研究[A];第十屆沈陽(yáng)科學(xué)學(xué)術(shù)年會(huì)論文集（信息科學(xué)與工程技術(shù)分冊(cè)）[C];2013年

4 江濤;劉東波;劉巍;;基于XML的異構(gòu)數(shù)據(jù)集成中間件研究[A];促進(jìn)企業(yè)信息化進(jìn)程——第十屆中國(guó)Java技術(shù)及應(yīng)用大會(huì)文集[C];2007年

5 周翔;翁劍成;榮建;;基于MDA的異構(gòu)交通數(shù)據(jù)管理平臺(tái)的研究與開(kāi)發(fā)[A];2007第三屆中國(guó)智能交通年會(huì)論文集[C];2007年

6 陳亞洲;齊從謙;甘屹;;基于Web的CAM異構(gòu)數(shù)據(jù)轉(zhuǎn)換和傳輸?shù)难芯縖A];制造業(yè)與未來(lái)中國(guó)——2002年中國(guó)機(jī)械工程學(xué)會(huì)年會(huì)論文集[C];2002年

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前2條

1 汪蔚;跨平臺(tái)異構(gòu)數(shù)據(jù)對(duì)接是選型根本[N];中國(guó)計(jì)算機(jī)報(bào);2004年

2 西岸;Network Appliance發(fā)布新異構(gòu)數(shù)據(jù)保護(hù)方案[N];通信產(chǎn)業(yè)報(bào);2003年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前3條

1 吳紅星;面向多業(yè)態(tài)集團(tuán)企業(yè)多源異構(gòu)數(shù)據(jù)的協(xié)同系統(tǒng)集成方法研究[D];合肥工業(yè)大學(xué);2015年

2 于寶琴;成套電器企業(yè)異構(gòu)數(shù)據(jù)整合及其物流系統(tǒng)的研究[D];天津大學(xué);2006年

3 繆嘉嘉;異構(gòu)數(shù)據(jù)映射技術(shù)研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2008年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 高姣姣;MUSER異構(gòu)數(shù)據(jù)采集及融合技術(shù)研究[D];昆明理工大學(xué);2015年

2 高湛;基于混支持度和粗糙集的異構(gòu)數(shù)據(jù)融合研究[D];燕山大學(xué);2015年

3 鄭文明;基于XML的異構(gòu)數(shù)據(jù)交換在汽車(chē)零部件產(chǎn)業(yè)價(jià)值鏈協(xié)同云服務(wù)平臺(tái)的研究與應(yīng)用[D];西南交通大學(xué);2015年

4 陳毅飛;基于多源異構(gòu)數(shù)據(jù)的楊凌水肥信息管理系統(tǒng)研究[D];西北農(nóng)林科技大學(xué);2015年

5 葉茂偉;大規(guī)模異構(gòu)數(shù)據(jù)即時(shí)整合系統(tǒng)的研究與實(shí)現(xiàn)[D];浙江大學(xué);2016年

6 荊志;海量異構(gòu)數(shù)據(jù)定制平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D];河北師范大學(xué);2013年

7 朱峰;基于JSON的互聯(lián)網(wǎng)異構(gòu)數(shù)據(jù)整合的應(yīng)用研究[D];南京郵電大學(xué);2016年

8 李瀚晨;基于“用戶(hù)—景點(diǎn)”關(guān)系建模的景點(diǎn)推薦技術(shù)的研究[D];北京工業(yè)大學(xué);2016年

9 徐凱;智慧高速海量異構(gòu)數(shù)據(jù)處理關(guān)鍵技術(shù)研究[D];重慶交通大學(xué);2016年

10 孫靖怡;基于異構(gòu)數(shù)據(jù)的復(fù)雜關(guān)聯(lián)比對(duì)方法的研究與應(yīng)用[D];沈陽(yáng)理工大學(xué);2008年

，

本文編號(hào)：1214806