本文選題：交通數(shù)據(jù) + 數(shù)據(jù)處理系統(tǒng)��； 參考：《計(jì)算機(jī)研究與發(fā)展》2014年S2期

【摘要】：近些年,城市中在主要路段和路口設(shè)置的交通卡口點(diǎn)及高清攝像頭的數(shù)目呈增長趨勢.對于大中型城市來說,這些攝像頭將會產(chǎn)生海量包含通行記錄和圖像在內(nèi)的數(shù)據(jù).現(xiàn)有的基于傳統(tǒng)關(guān)系數(shù)據(jù)庫的解決方案已經(jīng)無法有效地管理如此大規(guī)模的數(shù)據(jù),也無法為數(shù)據(jù)的離線分析和實(shí)時(shí)處理提供具有高效及可伸縮性的保障.為了解決這一系列問題,我們開發(fā)了觀瀾交通數(shù)據(jù)處理平臺(觀瀾平臺).該平臺可以為交通數(shù)據(jù)提供分布式、具有良好可伸縮性的處理支持.它集成了Apache Hadoop和S4開源框架,可以同時(shí)運(yùn)行批處理任務(wù)和實(shí)時(shí)處理任務(wù).觀瀾平臺已經(jīng)在國內(nèi)某城市的生產(chǎn)環(huán)境中成功運(yùn)行近兩年,將會給出平臺的架構(gòu)說明以及在設(shè)計(jì)和開發(fā)過程中的一些收獲.
[Abstract]:In recent years, the number of traffic bayonets and HD cameras at major roads and intersections in cities is increasing. For large and medium-sized cities, these cameras will produce vast amounts of data, including traffic records and images. The existing solutions based on traditional relational databases can not effectively manage such a large scale of data, nor can provide an efficient and scalable guarantee for offline analysis and real-time processing of data. In order to solve this series of problems, we have developed the traffic data processing platform of Guanlan (Guanlan platform). The platform can provide distributed traffic data and has good scalable processing support. It integrates Apache Hadoop and S 4 open source frameworks to run both batch and real-time tasks. Guanlan platform has been running successfully for nearly two years in the production environment of a certain city in China. The architecture of the platform and some achievements in the process of design and development will be given.
【作者單位】： 山東大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系;濟(jì)南觀瀾數(shù)據(jù)技術(shù)有限公司;
【基金】：國家自然科學(xué)基金項(xiàng)目(61272092) 山東省自然科學(xué)基金項(xiàng)目(ZR2012FZ004) 山東省科技發(fā)展計(jì)劃(2014GGE27178) 國家“九七三”重點(diǎn)基礎(chǔ)研究發(fā)展計(jì)劃基金項(xiàng)目(2015CB352500) 山東大學(xué)自主創(chuàng)新基金項(xiàng)目(2012ZD012) 泰山學(xué)者計(jì)劃
【分類號】：U495;TP311.13

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 郎波;張博宇;;面向大數(shù)據(jù)的非結(jié)構(gòu)化數(shù)據(jù)管理平臺關(guān)鍵技術(shù)[J];信息技術(shù)與標(biāo)準(zhǔn)化;2013年10期

2 邵景峰;崔尊民;王進(jìn)富;白曉波;;大數(shù)據(jù)下紡織制造執(zhí)行系統(tǒng)的構(gòu)建[J];紡織器材;2013年06期

3 張亞楠;譚躍生;;基于MapReduce的并行遮蓋文本聚類算法[J];內(nèi)蒙古科技大學(xué)學(xué)報(bào);2013年03期

4 周國亮;朱永利;王桂蘭;;CC-MRSJ:Hadoop平臺下緩存敏感的星型聯(lián)接算法[J];電信科學(xué);2013年10期

5 王鵬;黃焱;劉峰;安俊秀;;大數(shù)據(jù)技術(shù)中計(jì)算與數(shù)據(jù)的協(xié)作機(jī)制[J];成都信息工程學(xué)院學(xué)報(bào);2014年01期

6 杜政頡;王鵬;黃焱;郎福通;;一種基于Storm編程模型的迭代Topology方案[J];成都信息工程學(xué)院學(xué)報(bào);2014年01期

7 范飛;黃文明;鄧珍榮;;Oozie工作流在Mahout分布式數(shù)據(jù)挖掘中的應(yīng)用[J];桂林電子科技大學(xué)學(xué)報(bào);2014年01期

8 丁玉成;諸葛晴鳳;沙行勉;;云計(jì)算環(huán)境下排序算法的性能分析[J];重慶大學(xué)學(xué)報(bào);2014年04期

9 喬媛媛;劉芳;凌艷;尹勁松;;云計(jì)算環(huán)境下MapReduce的資源建模與性能預(yù)測[J];北京郵電大學(xué)學(xué)報(bào);2014年S1期

10 劉瓊;趙榮;孫立堅(jiān);;Map/Reduce框架下的粗糙集空間數(shù)據(jù)挖掘改進(jìn)算法[J];測繪科學(xué);2014年05期

相關(guān)會議論文 前5條

1 喬媛媛;劉芳;凌艷;尹勁松;;云計(jì)算環(huán)境下MapReduce的資源建模與性能預(yù)測[A];2013年全國通信軟件學(xué)術(shù)會議論文集[C];2013年

2 Xiaoguang Han;Jigang Sun;Wu Qu;Xuanxia Yao;;Distributed Malware Detection based on Binary File Features in Cloud Computing Environment[A];第26屆中國控制與決策會議論文集[C];2014年

3 陳佐旗;余柏蒗;吳健平;;基于GPU通用計(jì)算的遙感數(shù)據(jù)處理——以計(jì)算地表太陽輻射值為例[A];第十八屆中國環(huán)境遙感應(yīng)用技術(shù)論壇論文集[C];2014年

4 白永超;付偉;辛陽;;基于Hadoop和Nutch的分布式搜索引擎研究與仿真[A];第十九屆全國青年通信學(xué)術(shù)年會論文集[C];2014年

5 李超越;徐國勝;;Hadoop公平調(diào)度算法的改進(jìn)[A];第十九屆全國青年通信學(xué)術(shù)年會論文集[C];2014年

相關(guān)博士學(xué)位論文 前10條

1 李健;云計(jì)算環(huán)境下最小化運(yùn)營開銷的調(diào)度技術(shù)研究[D];北京郵電大學(xué);2013年

2 韓晶;大數(shù)據(jù)服務(wù)若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2013年

3 程祥;高效可靠的虛擬網(wǎng)絡(luò)映射技術(shù)研究[D];北京郵電大學(xué);2013年

4 李韌;基于Hadoop的大規(guī)模語義Web本體數(shù)據(jù)查詢與推理關(guān)鍵技術(shù)研究[D];重慶大學(xué);2013年

5 盧風(fēng)順;面向CPU/GPU異構(gòu)體系結(jié)構(gòu)的并行計(jì)算關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2012年

6 孫鵬;動車組維修物聯(lián)網(wǎng)及其關(guān)鍵技術(shù)研究[D];中國鐵道科學(xué)研究院;2013年

7 肖奎;維基百科大數(shù)據(jù)的知識挖掘與管理方法研究[D];武漢大學(xué);2013年

8 程興國;仿生算法的動態(tài)反饋機(jī)制及其并行化實(shí)現(xiàn)方法研究[D];華南理工大學(xué);2013年

9 馬馮;數(shù)據(jù)密集型計(jì)算環(huán)境下貝葉斯網(wǎng)的學(xué)習(xí)、推理及應(yīng)用[D];云南大學(xué);2013年

10 韓海雯;MapReduce計(jì)算任務(wù)調(diào)度的資源配置優(yōu)化研究[D];華南理工大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 陳貞;HDFS環(huán)境下的訪問控制技術(shù)研究[D];重慶大學(xué);2013年

2 張丹;HDFS中文件存儲優(yōu)化的相關(guān)技術(shù)研究[D];南京師范大學(xué);2013年

3 潘吳斌;基于云計(jì)算的并行K-means氣象數(shù)據(jù)挖掘研究與應(yīng)用[D];南京信息工程大學(xué);2013年

4 趙洪昌;云計(jì)算下的關(guān)聯(lián)分析和模糊聚類研究[D];南京信息工程大學(xué);2013年

5 汪洋;通信網(wǎng)云計(jì)算平臺資源調(diào)度策略與算法研究[D];南昌大學(xué);2013年

6 呂天然;基于MapReduce的可視化工作流遙感并行處理平臺及關(guān)鍵技術(shù)研究[D];河南大學(xué);2013年

7 但光祥;云計(jì)算環(huán)境下混合加密算法研究與實(shí)現(xiàn)[D];重慶大學(xué);2013年

8 周濤;基于Hadoop的遙感數(shù)字圖像處理方法研究[D];東北師范大學(xué);2013年

9 程偉;海量信令并行即時(shí)分析系統(tǒng)的研究與設(shè)計(jì)[D];中國海洋大學(xué);2013年

10 賈玉輝;面向語音交互的云計(jì)算系統(tǒng)的研究[D];中國海洋大學(xué);2013年

，

本文編號：1927160