本文關(guān)鍵詞：智慧高速海量異構(gòu)數(shù)據(jù)處理關(guān)鍵技術(shù)研究

  更多相關(guān)文章： 智慧高速 數(shù)據(jù)遷移 數(shù)據(jù)存儲 數(shù)據(jù)檢索

【摘要】：高速公路作為經(jīng)濟運輸大動脈,承擔的運輸量與經(jīng)濟和社會需求同步增長。目前高速公路在建設(shè)管理、運營管理、養(yǎng)護管理及服務(wù)等方面也呈現(xiàn)出一些問題,如體制分散、缺乏統(tǒng)一協(xié)調(diào),出現(xiàn)了“信息孤島”、缺乏對交通信息的綜合利用等。隨著物聯(lián)網(wǎng)、云計算、人工智能、自動控制、移動互聯(lián)網(wǎng)等技術(shù)在交通領(lǐng)域中的充分運用,“智慧高速”也應(yīng)運而生。智慧高速通過充分地“感知”高速公路,實現(xiàn)信息深度融合、數(shù)據(jù)分析和挖掘,采用準確的模型和控制系統(tǒng),為管理者和出行者提供協(xié)同管理和智慧服務(wù)。但在智慧高速建設(shè)過程中,“感知”的數(shù)據(jù)具有種類繁多、數(shù)據(jù)量大、存儲分散等特性,因此數(shù)據(jù)的有效存儲、高效率的數(shù)據(jù)檢索、數(shù)據(jù)的深度融合是目前智慧高速重點研究內(nèi)容之一。本文以某區(qū)智慧高速為研究對象,結(jié)合當前該區(qū)智慧高速的建設(shè)情況及數(shù)據(jù)的特點,以Hadoop大數(shù)據(jù)平臺為基礎(chǔ),對智慧高速數(shù)據(jù)中心海量異構(gòu)數(shù)據(jù)處理的相關(guān)關(guān)鍵技術(shù)進行研究,主要有以下幾方面的研究工作。(1)分析云計算和Hadoop相關(guān)技術(shù),主要包含HDFS分布式文件、MapReduce分布式計算框架和HBase分布式數(shù)據(jù)庫等技術(shù)。(2)在對該區(qū)智慧高速建設(shè)情況和數(shù)據(jù)特點分析基礎(chǔ)上,構(gòu)建了智慧高速海量異構(gòu)數(shù)據(jù)處理總體架構(gòu),實現(xiàn)了海量異構(gòu)數(shù)據(jù)處理流程。同時,根據(jù)用戶的需求,確定了智慧高速海量異構(gòu)數(shù)據(jù)處理的相關(guān)關(guān)鍵技術(shù),包括數(shù)據(jù)遷移、數(shù)據(jù)存儲、數(shù)據(jù)檢索技術(shù)等。(3)實現(xiàn)了智慧高速海量異構(gòu)數(shù)據(jù)關(guān)鍵技術(shù)中的數(shù)據(jù)存儲、數(shù)據(jù)遷移、數(shù)據(jù)檢索等的研究和方案設(shè)計。設(shè)計了數(shù)據(jù)存儲結(jié)構(gòu)、關(guān)系型數(shù)據(jù)表與HBase表的映射規(guī)則。提出了基于磁盤讀寫調(diào)度的結(jié)構(gòu)化數(shù)據(jù)遷移和基于Apache VFS的非結(jié)構(gòu)化數(shù)據(jù)遷移方案。設(shè)計了一種基于HBase二級索引的數(shù)據(jù)檢索策略,結(jié)合數(shù)據(jù)緩存層,提高復(fù)雜條件的數(shù)據(jù)檢索效率。(4)在智慧高速海量異構(gòu)數(shù)據(jù)處理總體架構(gòu)上,對智慧高速海量異構(gòu)數(shù)據(jù)處理關(guān)鍵技術(shù)進行了實驗驗證。實驗結(jié)果表明:基于磁盤讀寫調(diào)度器的結(jié)構(gòu)化數(shù)據(jù)遷移與默認調(diào)度器相比,隨著數(shù)據(jù)遷移量的增加,遷移效率明顯提升;設(shè)計的非結(jié)構(gòu)化數(shù)據(jù)遷移方案支持多線程并發(fā)操作,隨著線程的增加,遷移速度越快;改進的數(shù)據(jù)檢索方法的檢索效率高于原始HBase的檢索效率,同時利用數(shù)據(jù)緩存,檢索效率大大高于直接從已經(jīng)建立索引的HBase的檢索效率。
【學(xué)位授予單位】：重慶交通大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：U495;TP311.13

【相似文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 張銳,李海濤;異構(gòu)數(shù)據(jù)的管理方法及異構(gòu)數(shù)據(jù)源的集成研究[J];機電工程技術(shù);2005年09期

2 嚴宏;;基于自適應(yīng)模板的異構(gòu)數(shù)據(jù)轉(zhuǎn)換技術(shù)研究與實現(xiàn)[J];中國民航飛行學(xué)院學(xué)報;2013年03期

3 黎敬濤;分布計算與異構(gòu)數(shù)據(jù)環(huán)境分析[J];昆明理工大學(xué)學(xué)報;1999年02期

4 周江川;彭川;;應(yīng)急系統(tǒng)中不確定性異構(gòu)數(shù)據(jù)的交換與集成[J];重慶理工大學(xué)學(xué)報(自然科學(xué)版);2010年08期

5 申強;李杰;孫發(fā)魚;曹屹;;核監(jiān)測多源異構(gòu)數(shù)據(jù)融合體系與方法[J];探測與控制學(xué)報;2007年04期

6 楊欣欣;黃少濱;;基于圖劃分的網(wǎng)狀高階異構(gòu)數(shù)據(jù)聯(lián)合聚類算法[J];四川大學(xué)學(xué)報(工程科學(xué)版);2014年02期

7 金正淑,王彥彬,范小玲;基于XML的電力企業(yè)管理中異構(gòu)數(shù)據(jù)共享[J];東北電力學(xué)院學(xué)報;2005年01期

8 赫偉珊;齊林海;林天華;;電能質(zhì)量分析系統(tǒng)中異構(gòu)數(shù)據(jù)交換的實現(xiàn)方法[J];電力科學(xué)與工程;2009年11期

9 謝芳華,任午令,唐任仲;基于XML的異構(gòu)數(shù)據(jù)交換集成技術(shù)及其實現(xiàn)[J];制造業(yè)自動化;2004年04期

10 鄒東偉;黃湘林;;圖書館異構(gòu)數(shù)據(jù)的XML整合研究[J];東莞理工學(xué)院學(xué)報;2007年03期

中國重要會議論文全文數(shù)據(jù)庫 前6條

1 姚燕;李湘;郭萍;鄭波;;基于中間件的異構(gòu)數(shù)據(jù)檢索服務(wù)[A];2011年中國氣象學(xué)會氣象通信與信息技術(shù)委員會暨國家氣象信息中心科技年會論文摘要[C];2011年

2 伍尚杰;陳立定;曾明;;基于XML異構(gòu)數(shù)據(jù)的組態(tài)軟件[A];中南六�。▍^(qū)）自動化學(xué)會第24屆學(xué)術(shù)年會會議論文集[C];2006年

3 李剛;高春陽;崔明;;高校異構(gòu)數(shù)據(jù)整合平臺建設(shè)研究[A];第十屆沈陽科學(xué)學(xué)術(shù)年會論文集（信息科學(xué)與工程技術(shù)分冊）[C];2013年

4 江濤;劉東波;劉巍;;基于XML的異構(gòu)數(shù)據(jù)集成中間件研究[A];促進企業(yè)信息化進程——第十屆中國Java技術(shù)及應(yīng)用大會文集[C];2007年

5 周翔;翁劍成;榮建;;基于MDA的異構(gòu)交通數(shù)據(jù)管理平臺的研究與開發(fā)[A];2007第三屆中國智能交通年會論文集[C];2007年

6 陳亞洲;齊從謙;甘屹;;基于Web的CAM異構(gòu)數(shù)據(jù)轉(zhuǎn)換和傳輸?shù)难芯縖A];制造業(yè)與未來中國——2002年中國機械工程學(xué)會年會論文集[C];2002年

中國重要報紙全文數(shù)據(jù)庫 前2條

1 汪蔚;跨平臺異構(gòu)數(shù)據(jù)對接是選型根本[N];中國計算機報;2004年

2 西岸;Network Appliance發(fā)布新異構(gòu)數(shù)據(jù)保護方案[N];通信產(chǎn)業(yè)報;2003年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前3條

1 吳紅星;面向多業(yè)態(tài)集團企業(yè)多源異構(gòu)數(shù)據(jù)的協(xié)同系統(tǒng)集成方法研究[D];合肥工業(yè)大學(xué);2015年

2 于寶琴;成套電器企業(yè)異構(gòu)數(shù)據(jù)整合及其物流系統(tǒng)的研究[D];天津大學(xué);2006年

3 繆嘉嘉;異構(gòu)數(shù)據(jù)映射技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2008年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 高姣姣;MUSER異構(gòu)數(shù)據(jù)采集及融合技術(shù)研究[D];昆明理工大學(xué);2015年

2 高湛;基于混支持度和粗糙集的異構(gòu)數(shù)據(jù)融合研究[D];燕山大學(xué);2015年

3 鄭文明;基于XML的異構(gòu)數(shù)據(jù)交換在汽車零部件產(chǎn)業(yè)價值鏈協(xié)同云服務(wù)平臺的研究與應(yīng)用[D];西南交通大學(xué);2015年

4 陳毅飛;基于多源異構(gòu)數(shù)據(jù)的楊凌水肥信息管理系統(tǒng)研究[D];西北農(nóng)林科技大學(xué);2015年

5 葉茂偉;大規(guī)模異構(gòu)數(shù)據(jù)即時整合系統(tǒng)的研究與實現(xiàn)[D];浙江大學(xué);2016年

6 荊志;海量異構(gòu)數(shù)據(jù)定制平臺的設(shè)計與實現(xiàn)[D];河北師范大學(xué);2013年

7 朱峰;基于JSON的互聯(lián)網(wǎng)異構(gòu)數(shù)據(jù)整合的應(yīng)用研究[D];南京郵電大學(xué);2016年

8 李瀚晨;基于“用戶—景點”關(guān)系建模的景點推薦技術(shù)的研究[D];北京工業(yè)大學(xué);2016年

9 徐凱;智慧高速海量異構(gòu)數(shù)據(jù)處理關(guān)鍵技術(shù)研究[D];重慶交通大學(xué);2016年

10 孫靖怡;基于異構(gòu)數(shù)據(jù)的復(fù)雜關(guān)聯(lián)比對方法的研究與應(yīng)用[D];沈陽理工大學(xué);2008年

，

本文編號：1214806