本文關(guān)鍵詞：物聯(lián)網(wǎng)環(huán)境下基于上下文的Hadoop大數(shù)據(jù)處理系統(tǒng)模型

  更多相關(guān)文章： 大數(shù)據(jù) 物聯(lián)網(wǎng) Hadoop 上下文鄰域系統(tǒng) 上下文隊列

【摘要】：針對物聯(lián)網(wǎng)環(huán)境下異構(gòu)大數(shù)據(jù)處理實時性低的問題,探討了基于Hadoop框架實現(xiàn)數(shù)據(jù)處理與持久化的方法,提出了一種基于"上下文"的Hadoop大數(shù)據(jù)處理系統(tǒng)模型HDS,HDS利用Hadoop框架完成數(shù)據(jù)并行處理與持久化,將物聯(lián)網(wǎng)環(huán)境下異構(gòu)數(shù)據(jù)抽象為"上下文"作為HDS處理對象;并提出了"上下文距離""上下文鄰域系統(tǒng)(CNS)"的定義;對于Hadoop框架本身數(shù)據(jù)處理實時性不高的問題,HDS在設(shè)計上增加了"上下文隊列(CQ)"作為輔助存儲來提高數(shù)據(jù)處理實時性;利用"上下文"的時空特性,建立了用戶請求"上下文鄰域系統(tǒng)"對任務(wù)進行重組。以成品油配送車輛調(diào)度問題為例,利用MapReduce并行實驗對HDS的數(shù)據(jù)處理與實時性能進行了驗證與分析。實驗結(jié)果表明,在物聯(lián)網(wǎng)環(huán)境下,HDS不僅在大數(shù)據(jù)處理性能上較傳統(tǒng)單點處理模型(SDS)具有明顯優(yōu)勢,在實驗環(huán)境中10臺服務(wù)器的情況下,其計算性能能夠超過SDS 200倍以上;同時也驗證了CQ作為輔助存儲能夠有效提高數(shù)據(jù)處理實時性,在10臺服務(wù)器環(huán)境下,其數(shù)據(jù)處理實時性能夠提高270倍以上。
【作者單位】： 西南交通大學(xué)交通運輸與物流學(xué)院;西南交通大學(xué)全國鐵路列車運行圖編制研發(fā)培訓(xùn)中心;
【關(guān)鍵詞】： 大數(shù)據(jù) 物聯(lián)網(wǎng) Hadoop 上下文鄰域系統(tǒng) 上下文隊列
【基金】：國家自然科學(xué)基金資助項目(61273242,61403317) 中國鐵路總公司科技研究計劃項目(2013X006-A,2013X014-G,2013X010-A,2014X004-D)
【分類號】：TP391.44;TN929.5;TP311.13
【正文快照】： 0引言物聯(lián)網(wǎng)是指通過射頻識別、紅外感應(yīng)器、全球定位系統(tǒng)、激光掃描器等信息傳感設(shè)備,按約定的協(xié)議,把任何物品與互聯(lián)網(wǎng)連接起來,進行信息交換與通信,以實現(xiàn)智能化識別、定位、跟蹤、監(jiān)控和管理的一種網(wǎng)絡(luò)。數(shù)據(jù)是物聯(lián)網(wǎng)應(yīng)用的核心內(nèi)容,能否對其進行有效管理是制約物聯(lián)網(wǎng)發(fā)展

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前9條

1 張友根;吳玲達;鄧維;宋漢辰;;融合時空上下文的手繪筆畫圖文分類[J];電子與信息學(xué)報;2013年01期

2 蘇韋;李景文;劉華堯;張海英;歐陽云;;基于MapReduce的時空數(shù)據(jù)模型設(shè)計方法[J];測繪與空間地理信息;2013年07期

3 崔杰;李陶深;蘭紅星;;基于Hadoop的海量數(shù)據(jù)存儲平臺設(shè)計與開發(fā)[J];計算機研究與發(fā)展;2012年S1期

4 鄭笛;王俊;賁可榮;;支持上下文感知的構(gòu)件適配模型研究[J];計算機工程;2012年02期

5 李成華;張新訪;金海;向文;;MapReduce:新型的分布式并行計算編程模型[J];計算機工程與科學(xué);2011年03期

6 謝桂蘭;羅省賢;;基于Hadoop MapReduce模型的應(yīng)用研究[J];微型機與應(yīng)用;2010年08期

7 戚銘堯;丁國祥;周游;繆立新;;一種基于時空距離的帶時間窗車輛路徑問題算法[J];交通運輸系統(tǒng)工程與信息;2011年01期

8 黃哲學(xué);曹付元;李俊杰;陳小軍;;面向大數(shù)據(jù)的海云數(shù)據(jù)系統(tǒng)關(guān)鍵技術(shù)研究[J];網(wǎng)絡(luò)新媒體技術(shù);2012年06期

9 王曉軍;孫惠;;基于MapReduce的多路連接優(yōu)化方法研究[J];計算機技術(shù)與發(fā)展;2013年06期

中國博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 何文娜;大數(shù)據(jù)時代基于物聯(lián)網(wǎng)和云計算的地質(zhì)信息化研究[D];吉林大學(xué);2013年

【共引文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 高飛;張琦;李澤強;;基于云計算技術(shù)的影視節(jié)目版權(quán)交易云平臺的構(gòu)建[J];廣播與電視技術(shù);2012年07期

2 王偉;;大數(shù)據(jù)分析——RDBMS與MapReduce的競爭與共生漫談[J];計算機光盤軟件與應(yīng)用;2013年07期

3 李亮;;全臺網(wǎng)環(huán)境下的云視頻素材轉(zhuǎn)碼系統(tǒng)的設(shè)計[J];電視技術(shù);2013年10期

4 鄒青春;;基于云計算環(huán)境的考試數(shù)據(jù)挖掘算法研究[J];信息安全與技術(shù);2013年07期

5 蘇韋;李景文;劉華堯;張海英;歐陽云;;基于MapReduce的時空數(shù)據(jù)模型設(shè)計方法[J];測繪與空間地理信息;2013年07期

6 王蘇衛(wèi);;基于Hadoop和Hive的電信行業(yè)數(shù)據(jù)倉庫研究[J];電子技術(shù)與軟件工程;2013年11期

7 謝峰;;基于Hadoop的云存儲平臺設(shè)計研究[J];電子技術(shù)與軟件工程;2013年16期

8 郎波;張博宇;;面向大數(shù)據(jù)的非結(jié)構(gòu)化數(shù)據(jù)管理平臺關(guān)鍵技術(shù)[J];信息技術(shù)與標(biāo)準(zhǔn)化;2013年10期

9 邵景峰;崔尊民;王進富;白曉波;;大數(shù)據(jù)下紡織制造執(zhí)行系統(tǒng)的構(gòu)建[J];紡織器材;2013年06期

10 張亞楠;譚躍生;;基于MapReduce的并行遮蓋文本聚類算法[J];內(nèi)蒙古科技大學(xué)學(xué)報;2013年03期

中國重要會議論文全文數(shù)據(jù)庫 前10條

1 邱紅艷;李波;王運發(fā);;基于模糊相似度的動態(tài)配送調(diào)度聚類方法[A];第六屆（2011）中國管理學(xué)年會——管理科學(xué)與工程分會場論文集[C];2011年

2 生昕格;;基于hadoop的交通云數(shù)據(jù)處理平臺設(shè)計[A];第七屆中國智能交通年會優(yōu)秀論文集——智能交通應(yīng)用[C];2012年

3 Liang Chen;Jing Qiu;Xueping Gu;;Design of Cloud Computing Architecture for DIOT[A];2013教育技術(shù)與信息系統(tǒng)國際會議論文集[C];2013年

4 高飛;張琦;李澤強;;基于云計算技術(shù)的影視節(jié)目版權(quán)交易云平臺的構(gòu)建[A];中國新聞技術(shù)工作者聯(lián)合會2013年學(xué)術(shù)年會、五屆五次理事會暨第六屆“王選新聞科學(xué)技術(shù)獎”和優(yōu)秀論文獎頒獎大會論文集（廣電篇）[C];2013年

5 喬媛媛;劉芳;凌艷;尹勁松;;云計算環(huán)境下MapReduce的資源建模與性能預(yù)測[A];2013年全國通信軟件學(xué)術(shù)會議論文集[C];2013年

6 Xiaoguang Han;Jigang Sun;Wu Qu;Xuanxia Yao;;Distributed Malware Detection based on Binary File Features in Cloud Computing Environment[A];第26屆中國控制與決策會議論文集[C];2014年

7 劉世洪;陳濤;鄭火國;胡海燕;王爍;馬濤;;農(nóng)業(yè)產(chǎn)銷匹配:云環(huán)境下的信息推薦平臺[A];中國畜牧獸醫(yī)學(xué)會信息技術(shù)分會2014年學(xué)術(shù)研討會論文集[C];2014年

8 陳佐旗;余柏蒗;吳健平;;基于GPU通用計算的遙感數(shù)據(jù)處理——以計算地表太陽輻射值為例[A];第十八屆中國環(huán)境遙感應(yīng)用技術(shù)論壇論文集[C];2014年

9 白永超;付偉;辛陽;;基于Hadoop和Nutch的分布式搜索引擎研究與仿真[A];第十九屆全國青年通信學(xué)術(shù)年會論文集[C];2014年

10 李超越;徐國勝;;Hadoop公平調(diào)度算法的改進[A];第十九屆全國青年通信學(xué)術(shù)年會論文集[C];2014年

中國博士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 何文娜;大數(shù)據(jù)時代基于物聯(lián)網(wǎng)和云計算的地質(zhì)信息化研究[D];吉林大學(xué);2013年

2 劉翔;面向移動計算的WEB中間件關(guān)鍵技術(shù)研究[D];電子科技大學(xué);2013年

3 李健;云計算環(huán)境下最小化運營開銷的調(diào)度技術(shù)研究[D];北京郵電大學(xué);2013年

4 韓晶;大數(shù)據(jù)服務(wù)若干關(guān)鍵技術(shù)研究[D];北京郵電大學(xué);2013年

5 程祥;高效可靠的虛擬網(wǎng)絡(luò)映射技術(shù)研究[D];北京郵電大學(xué);2013年

6 李韌;基于Hadoop的大規(guī)模語義Web本體數(shù)據(jù)查詢與推理關(guān)鍵技術(shù)研究[D];重慶大學(xué);2013年

7 盧風(fēng)順;面向CPU/GPU異構(gòu)體系結(jié)構(gòu)的并行計算關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2012年

8 孫鵬;動車組維修物聯(lián)網(wǎng)及其關(guān)鍵技術(shù)研究[D];中國鐵道科學(xué)研究院;2013年

9 肖奎;維基百科大數(shù)據(jù)的知識挖掘與管理方法研究[D];武漢大學(xué);2013年

10 程興國;仿生算法的動態(tài)反饋機制及其并行化實現(xiàn)方法研究[D];華南理工大學(xué);2013年

中國碩士學(xué)位論文全文數(shù)據(jù)庫 前10條

1 徐風(fēng);移動公司云計算平臺原型的構(gòu)建與測試[D];中南大學(xué);2010年

2 廖玉蘭;基于分布式的決策樹方法研究[D];電子科技大學(xué);2011年

3 王毅;基于Hadoop的Slope One及其改進算法實現(xiàn)[D];西南交通大學(xué);2011年

4 陳勃;基于Nutch的企業(yè)搜索引擎的研究與實現(xiàn)[D];華中科技大學(xué);2011年

5 李海波;基于MapReduce框架的分布式網(wǎng)絡(luò)爬行器研究[D];哈爾濱工程大學(xué);2011年

6 李倩;基于MapReduce模型的eMTM三維人體模型生成引擎[D];東華大學(xué);2012年

7 李元洪;基于反饋的動態(tài)負(fù)載平衡調(diào)度算法在Hadoop異構(gòu)環(huán)境中的設(shè)計與實現(xiàn)[D];南京理工大學(xué);2012年

8 劉永;云計算環(huán)境下虛擬機資源調(diào)度策略研究[D];山東師范大學(xué);2012年

9 李佳桐;上下文感知Web服務(wù)組合的動態(tài)演化技術(shù)研究[D];大連海事大學(xué);2012年

10 李輝;基于云計算環(huán)境的web結(jié)構(gòu)挖掘算法研究[D];浙江理工大學(xué);2012年

【二級參考文獻】

中國期刊全文數(shù)據(jù)庫 前10條

1 孫其博;劉杰;黎，

本文編號：747528