本文關(guān)鍵詞：基于Storm的海量交通數(shù)據(jù)實(shí)時(shí)處理平臺(tái)的研究

  更多相關(guān)文章： 智能交通 實(shí)時(shí)計(jì)算 分配調(diào)度機(jī)制 套牌車(chē) Storm

【摘要】：交通數(shù)據(jù)實(shí)時(shí)處理是當(dāng)前智能交通系統(tǒng)中的一個(gè)熱點(diǎn)研究問(wèn)題,通過(guò)對(duì)不同設(shè)備采集的海量交通數(shù)據(jù)進(jìn)行準(zhǔn)確、高效的實(shí)時(shí)計(jì)算能夠?yàn)楦黝?lèi)交通管理業(yè)務(wù)和交通信息服務(wù)提供有效的支撐,幫助解決交通擁堵等諸多交通管理問(wèn)題。交通數(shù)據(jù)實(shí)時(shí)處理具有數(shù)據(jù)連續(xù)、計(jì)算時(shí)延短、計(jì)算不間斷、多類(lèi)型數(shù)據(jù)混合等特點(diǎn)。本文以實(shí)驗(yàn)室承擔(dān)的某大型城市車(chē)輛緝查防控系統(tǒng)中基于車(chē)牌識(shí)別數(shù)據(jù)流的違章車(chē)輛實(shí)時(shí)甄別處理為背景,提出了一套海量交通數(shù)據(jù)實(shí)時(shí)處理方法,設(shè)計(jì)了基于Storm的海量交通數(shù)據(jù)實(shí)時(shí)處理平臺(tái),并針對(duì)Storm原始調(diào)度存在的負(fù)載傾斜問(wèn)題重點(diǎn)研究了面向交通實(shí)時(shí)處理作業(yè)的調(diào)度技術(shù)。論文的主要工作包括:1)基于對(duì)交通數(shù)據(jù)特征的分析,提出了一套海量交通數(shù)據(jù)實(shí)時(shí)處理方法,界定了數(shù)據(jù)接入、數(shù)據(jù)組織、數(shù)據(jù)計(jì)算、結(jié)果輸出等海量交通數(shù)據(jù)實(shí)時(shí)處理關(guān)鍵步驟的內(nèi)容,并結(jié)合現(xiàn)有流式計(jì)算模型對(duì)上述步驟涉及的數(shù)據(jù)接受預(yù)處理、多類(lèi)型的數(shù)據(jù)接入、數(shù)據(jù)在節(jié)點(diǎn)中的索引結(jié)構(gòu)、數(shù)據(jù)在節(jié)點(diǎn)間的組織方式以及數(shù)據(jù)輸出接口等關(guān)鍵技術(shù)進(jìn)行了分析和描述。2)對(duì)海量交通數(shù)據(jù)實(shí)時(shí)處理中的任務(wù)調(diào)度問(wèn)題進(jìn)行了深入研究。為提高交通數(shù)據(jù)實(shí)時(shí)處理的性能,解決Storm默認(rèn)調(diào)度策略存在的調(diào)度方式單一、節(jié)點(diǎn)之間負(fù)載不均衡等問(wèn)題,提出一種基于固定節(jié)點(diǎn)直接分配的FNS調(diào)度策略和一種基于負(fù)載均衡的LBS調(diào)度策略,并實(shí)現(xiàn)了與之對(duì)應(yīng)的任務(wù)調(diào)度器,實(shí)驗(yàn)表明基于FNS算法的調(diào)度器能夠?qū)⒁恍┻\(yùn)算簡(jiǎn)單的交通作業(yè)固定分配在一個(gè)單一工作節(jié)點(diǎn)上,基于LBS算法的調(diào)度器每次能從資源數(shù)最多的節(jié)點(diǎn)開(kāi)始任務(wù)分配。3)設(shè)計(jì)并實(shí)現(xiàn)一個(gè)基于Storm的海量交通數(shù)據(jù)實(shí)時(shí)處理平臺(tái)。基于該平臺(tái),實(shí)現(xiàn)了套牌車(chē)輛甄別等違章車(chē)輛自動(dòng)甄別應(yīng)用中的實(shí)時(shí)計(jì)算算法,并利用真實(shí)交通數(shù)據(jù)集模擬實(shí)時(shí)交通流數(shù)據(jù)進(jìn)行了實(shí)驗(yàn)和評(píng)估,驗(yàn)證了交通數(shù)據(jù)實(shí)時(shí)計(jì)算的實(shí)時(shí)性和準(zhǔn)確性。
【學(xué)位授予單位】：北方工業(yè)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類(lèi)號(hào)】：U495;TP311.13

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前9條

1 李?lèi)?劉晨;;基于歷史車(chē)牌識(shí)別數(shù)據(jù)的套牌車(chē)并行檢測(cè)方法[J];計(jì)算機(jī)應(yīng)用;2016年03期

2 劉道群;;信息技術(shù)在新一代智能交通中的應(yīng)用探討[J];計(jì)算機(jī)科學(xué);2014年S2期

3 孫大為;張廣艷;鄭緯民;;大數(shù)據(jù)流式計(jì)算:關(guān)鍵技術(shù)及系統(tǒng)實(shí)例[J];軟件學(xué)報(bào);2014年04期

4 廖飛;黃晟;龔德俊;安樂(lè);;基于Hadoop的城市道路交通流量數(shù)據(jù)分布式存儲(chǔ)與挖掘分析研究[J];公路與汽運(yùn);2013年05期

5 亓開(kāi)元;趙卓峰;房俊;馬強(qiáng);;針對(duì)高速數(shù)據(jù)流的大規(guī)模數(shù)據(jù)實(shí)時(shí)處理方法[J];計(jì)算機(jī)學(xué)報(bào);2012年03期

6 覃雄派;王會(huì)舉;杜小勇;王珊;;大數(shù)據(jù)分析——RDBMS與MapReduce的競(jìng)爭(zhēng)與共生[J];軟件學(xué)報(bào);2012年01期

7 劉學(xué)靜;李崇;郝飛;趙謙益;;含光學(xué)隱碼的汽車(chē)牌照防套牌技術(shù)研究[J];大連理工大學(xué)學(xué)報(bào);2011年S1期

8 王秋平;王中芳;趙碩;;動(dòng)態(tài)交通流分配模型[J];長(zhǎng)安大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年02期

9 撒元功,徐建閩,賀敬凱;高速公路動(dòng)態(tài)交通流的模型與仿真研究[J];交通與計(jì)算機(jī);2002年03期

，

本文編號(hào)：1282550