本文關(guān)鍵詞：Hadoop支持下海量出租車軌跡數(shù)據(jù)預(yù)處理技術(shù)研究

  更多相關(guān)文章： 軌跡數(shù)據(jù) Hadoop 大數(shù)據(jù) 數(shù)據(jù)預(yù)處理 并行計(jì)算

【摘要】：海量出租車軌跡數(shù)據(jù)預(yù)處理是軌跡數(shù)據(jù)挖掘和應(yīng)用的前提。出租車軌跡數(shù)據(jù)是典型的大數(shù)據(jù),傳統(tǒng)的數(shù)據(jù)處理技術(shù)無(wú)法解決大規(guī)模出租車軌跡數(shù)據(jù)誤差分析和處理問(wèn)題,文章在分析軌跡數(shù)據(jù)誤差來(lái)源和誤差類型的基礎(chǔ)上,提出基于Hadoop的海量出租車軌跡數(shù)據(jù)預(yù)處理模型,使用Hive實(shí)現(xiàn)軌跡數(shù)據(jù)誤差統(tǒng)計(jì)分析,設(shè)計(jì)MapReduce并行處理程序?qū)崿F(xiàn)軌跡數(shù)據(jù)預(yù)處理。實(shí)驗(yàn)結(jié)果表明,該模型可以有效解決大規(guī)模出租車軌跡數(shù)據(jù)預(yù)處理問(wèn)題,處理方式可靠性較高,大大提高了軌跡數(shù)據(jù)預(yù)處理效率,為后期軌跡數(shù)據(jù)深入挖掘和分析奠定了基礎(chǔ)。
【作者單位】： 蘭州交通大學(xué);蘭州市勘察測(cè)繪研究院;
【關(guān)鍵詞】： 軌跡數(shù)據(jù) Hadoop 大數(shù)據(jù) 數(shù)據(jù)預(yù)處理 并行計(jì)算
【分類號(hào)】：P228.4;TP311.13
【正文快照】： 1引言隨著衛(wèi)星定位技術(shù)、無(wú)線通信技術(shù)和地理信息技術(shù)的迅速發(fā)展,定位設(shè)備在車載以及移動(dòng)終端上得到廣泛使用。許多城市的出租車都裝載了定位設(shè)備,這些設(shè)備會(huì)定時(shí)將其位置信息傳至服務(wù)中心,由此匯聚而成大規(guī)模的出租車軌跡數(shù)據(jù)。這些軌跡數(shù)據(jù)包含大量信息,已經(jīng)開(kāi)始應(yīng)用于很多

【相似文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前10條

1 任爽,王宇;供應(yīng)鏈管理中的數(shù)據(jù)預(yù)處理技術(shù)[J];科技情報(bào)開(kāi)發(fā)與經(jīng)濟(jì);2004年11期

2 孟輝;洪文學(xué);;蛋白質(zhì)組學(xué)質(zhì)譜數(shù)據(jù)預(yù)處理技術(shù)綜述[J];中國(guó)生物醫(yī)學(xué)工程學(xué)報(bào);2009年03期

3 常博;李振偉;;數(shù)據(jù)預(yù)處理在高速公路收費(fèi)系統(tǒng)中的應(yīng)用[J];科技資訊;2010年27期

4 鐘波,肖智;一種改進(jìn)聚類分析方法在數(shù)據(jù)預(yù)處理中的應(yīng)用(英文)[J];西南師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2002年05期

5 李華;李元壘;劉溪;;支持向量聚類的一種改進(jìn)數(shù)據(jù)預(yù)處理[J];山東科技大學(xué)學(xué)報(bào)(自然科學(xué)版);2007年02期

6 張桂英;;方差定理與數(shù)據(jù)預(yù)處理[J];山東科學(xué);1991年02期

7 閆磊;李永紅;杜力力;;小波分析技術(shù)在數(shù)據(jù)預(yù)處理中的應(yīng)用[J];科技信息;2012年29期

8 楊農(nóng)合,向西成,孫占平;重力儀讀數(shù)自動(dòng)記錄和數(shù)據(jù)預(yù)處理[J];地球科學(xué)與環(huán)境學(xué)報(bào);1991年03期

9 楊斌;;數(shù)據(jù)預(yù)處理對(duì)關(guān)聯(lián)序的影響[J];中小企業(yè)管理與科技(下旬刊);2013年04期

10 黃容偉;李文敬;;基于粗糙集理論的數(shù)據(jù)預(yù)處理[J];廣西師范學(xué)院學(xué)報(bào)(自然科學(xué)版);2006年04期

中國(guó)重要會(huì)議論文全文數(shù)據(jù)庫(kù) 前10條

1 王桂芹;黃道;;數(shù)據(jù)預(yù)處理技術(shù)研究[A];第一屆中國(guó)高校通信類院系學(xué)術(shù)研討會(huì)論文集[C];2007年

2 周炳玉;盧野;劉珍陽(yáng);;多傳感器數(shù)據(jù)融合中的數(shù)據(jù)預(yù)處理技術(shù)研究[A];2007年光電探測(cè)與制導(dǎo)技術(shù)的發(fā)展與應(yīng)用研討會(huì)論文集[C];2007年

3 張國(guó)卿;馬亞龍;同蘭娟;孫明;;一種數(shù)字信號(hào)處理方法在數(shù)據(jù)預(yù)處理中的應(yīng)用研究[A];第13屆中國(guó)系統(tǒng)仿真技術(shù)及其應(yīng)用學(xué)術(shù)年會(huì)論文集[C];2011年

4 呂琳;朱東華;劉玉琴;;面向數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)預(yù)處理研究綜述[A];2007年中國(guó)智能自動(dòng)化會(huì)議論文集[C];2007年

5 胡鈦;李英玉;孟新;王春梅;李秀冰;;雙星計(jì)劃地面應(yīng)用數(shù)據(jù)預(yù)處理的設(shè)計(jì)與實(shí)現(xiàn)[A];中國(guó)空間科學(xué)學(xué)會(huì)空間探測(cè)專業(yè)委員會(huì)第十七次學(xué)術(shù)會(huì)議論文集[C];2004年

6 王建國(guó);劉春國(guó);;地下流體數(shù)據(jù)預(yù)處理與質(zhì)量評(píng)價(jià)方法研究[A];2013年地震流體專業(yè)委員會(huì)學(xué)術(shù)年會(huì)會(huì)議摘要[C];2013年

7 姚卿達(dá);張俊欣;;KDD中數(shù)據(jù)預(yù)處理的研究[A];第十五屆全國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集[C];1998年

8 師麗強(qiáng);張斌;陽(yáng)春華;;基于核主元分析的凈化除鈷過(guò)程數(shù)據(jù)預(yù)處理研究[A];2011第十六屆全國(guó)自動(dòng)化技術(shù)與應(yīng)用學(xué)術(shù)年會(huì)專輯[C];2011年

9 楊帆;;“電力勘測(cè)工程野外數(shù)據(jù)預(yù)處理軟件包”編制及應(yīng)用[A];2001年?yáng)|北三省測(cè)繪學(xué)術(shù)與信息交流會(huì)論文集[C];2001年

10 楊春霞;;H9000 V4.0系統(tǒng)數(shù)據(jù)預(yù)處理功能及實(shí)現(xiàn)[A];中國(guó)水力發(fā)電工程學(xué)會(huì)信息化專委會(huì)2008年學(xué)術(shù)交流會(huì)論文集[C];2008年

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫(kù) 前3條

1 張京芬;蛋白質(zhì)鑒定中串聯(lián)質(zhì)譜數(shù)據(jù)預(yù)處理的算法研究[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2006年

2 向常洲;基于CBM-TOF探測(cè)器的數(shù)據(jù)預(yù)處理[D];華中師范大學(xué);2013年

3 李超鋒;Web使用挖掘關(guān)鍵技術(shù)研究[D];華中科技大學(xué);2007年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前10條

1 馬燕燕;中國(guó)科技論文在線文獻(xiàn)的數(shù)據(jù)預(yù)處理研究[D];吉林大學(xué);2010年

2 梅盈;MUSER海量數(shù)據(jù)預(yù)處理關(guān)鍵技術(shù)研究[D];昆明理工大學(xué);2015年

3 魏霞;智能化數(shù)據(jù)預(yù)處理系統(tǒng)的研究與實(shí)現(xiàn)[D];華南理工大學(xué);2010年

4 張麗瑋;科研評(píng)估體系中數(shù)據(jù)預(yù)處理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];山東大學(xué);2006年

5 王麗平;數(shù)據(jù)預(yù)處理技術(shù)在電廠中的應(yīng)用[D];華北電力大學(xué)（北京）;2004年

6 白鳳偉;數(shù)據(jù)預(yù)處理系統(tǒng)的幾個(gè)關(guān)鍵技術(shù)研究與實(shí)現(xiàn)[D];北京交通大學(xué);2012年

7 欒江;數(shù)據(jù)質(zhì)量控制：數(shù)據(jù)預(yù)處理研究、設(shè)計(jì)與實(shí)現(xiàn)[D];四川大學(xué);2004年

8 劉春亞;基于粗集理論的數(shù)據(jù)預(yù)處理及應(yīng)用研究[D];重慶大學(xué);2003年

9 孫碩;基于KDD的銷售數(shù)據(jù)預(yù)處理管理系統(tǒng)[D];吉林大學(xué);2010年

10 方洪鷹;數(shù)據(jù)挖掘中數(shù)據(jù)預(yù)處理的方法研究[D];西南大學(xué);2009年

，

本文編號(hào)：764202