本文關(guān)鍵詞：基于Hadoop平臺(tái)的并行特征匹配算法研究　出處：《計(jì)算機(jī)應(yīng)用研究》2014年11期 　論文類型：期刊論文

  更多相關(guān)文章： 分布式文件系統(tǒng) 大數(shù)據(jù) 特征匹配 并行掃描

【摘要】：很多大企業(yè)采用Hadoop分布式文件系統(tǒng)來(lái)存儲(chǔ)海量數(shù)據(jù),而傳統(tǒng)的病毒掃描主要針對(duì)單機(jī)系統(tǒng)環(huán)境。研究如何并行化病毒掃描中的核心特征匹配算法來(lái)處理分布式海量數(shù)據(jù)。在Hadoop平臺(tái)下,基于MapReduce并行編程模型來(lái)實(shí)現(xiàn)大數(shù)據(jù)高效的病毒掃描,特別是針對(duì)Hadoop處理海量小文件效率低的問(wèn)題,通過(guò)將小文件合并,再利用索引來(lái)提高海量小文件的處理效率。實(shí)驗(yàn)結(jié)果表明,提出的并行特征匹配算法可以顯著降低處理時(shí)間,適用于大數(shù)據(jù)的病毒掃描。
[Abstract]:Many large enterprises use Hadoop distributed file system to store massive data. Traditional virus scanning is mainly aimed at single computer system environment. This paper studies how to parallelize the core feature matching algorithm in virus scanning to deal with distributed mass data. In the Hadoop platform. Based on the parallel programming model of MapReduce to realize big data's efficient virus scanning, especially to solve the problem of low efficiency of Hadoop processing large amount of small files, by merging small files. The experimental results show that the proposed parallel feature matching algorithm can significantly reduce the processing time and is suitable for big data's virus scanning.
【作者單位】： 北京信息科技大學(xué)計(jì)算機(jī)學(xué)院;北京信息科技大學(xué)網(wǎng)絡(luò)文化與數(shù)字傳播北京市重點(diǎn)實(shí)驗(yàn)室;
【基金】：北京市優(yōu)秀人才培養(yǎng)資助項(xiàng)目(2012D005007000009) 北京信息科技大學(xué)網(wǎng)絡(luò)文化與數(shù)字傳播北京市重點(diǎn)實(shí)驗(yàn)室開放課題(ICDD201306) 北京市屬高等學(xué)校創(chuàng)新團(tuán)隊(duì)建設(shè)與教師職業(yè)發(fā)展計(jì)劃項(xiàng)目(IDHT20130519)
【分類號(hào)】：TP333
【正文快照】： 0引言隨著互聯(lián)網(wǎng)的快速發(fā)展,各種移動(dòng)終端的迅速增加,使得企業(yè)需要處理的數(shù)據(jù)量越來(lái)越大。分布式文件系統(tǒng)成了很多企業(yè)用來(lái)存儲(chǔ)海量數(shù)據(jù)的工具,其中HDFS(Hadoop distributedfile system)[1],即Hadoop[2]分布式文件系統(tǒng)是被大家廣泛認(rèn)可的分布式文件系統(tǒng)之一,可以較好地解決海

【參考文獻(xiàn)】

相關(guān)期刊論文 前4條

1 崔杰;李陶深;蘭紅星;;基于Hadoop的海量數(shù)據(jù)存儲(chǔ)平臺(tái)設(shè)計(jì)與開發(fā)[J];計(jì)算機(jī)研究與發(fā)展;2012年S1期

2 趙衛(wèi)中;馬慧芳;傅燕翔;史忠植;;基于云計(jì)算平臺(tái)Hadoop的并行k-means聚類算法設(shè)計(jì)研究[J];計(jì)算機(jī)科學(xué);2011年10期

3 張春明;芮建武;何婷婷;;一種Hadoop小文件存儲(chǔ)和讀取的方法[J];計(jì)算機(jī)應(yīng)用與軟件;2012年11期

4 余思;桂小林;黃汝維;莊威;;一種提高云存儲(chǔ)中小文件存儲(chǔ)效率的方案[J];西安交通大學(xué)學(xué)報(bào);2011年06期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 董屹;王昆鵬;;云存儲(chǔ)在數(shù)字圖書館中的應(yīng)用[J];電腦知識(shí)與技術(shù);2013年09期

2 李亮;;全臺(tái)網(wǎng)環(huán)境下的云視頻素材轉(zhuǎn)碼系統(tǒng)的設(shè)計(jì)[J];電視技術(shù);2013年10期

3 張媛;;基于Hadoop云平臺(tái)的數(shù)據(jù)傳輸保護(hù)研究[J];甘肅聯(lián)合大學(xué)學(xué)報(bào)(自然科學(xué)版);2013年05期

4 鐘銳;劉立剛;;基于Map-Reduce的FP-Growth算法研究[J];贛南師范學(xué)院學(xué)報(bào);2013年06期

5 趙建光;;云計(jì)算環(huán)境下并行分布式數(shù)據(jù)挖掘平臺(tái)研究[J];電腦開發(fā)與應(yīng)用;2014年07期

6 吳晨;朱慶;張葉廷;許偉平;;基于混合瓦片的海量DEM/DOM數(shù)據(jù)高效存儲(chǔ)管理方法——以應(yīng)急救災(zāi)數(shù)據(jù)庫(kù)為例[J];地理信息世界;2014年03期

7 唐世慶;李云龍;田鳳明;胡海榮;;基于Hadoop的云計(jì)算與存儲(chǔ)平臺(tái)研究與實(shí)現(xiàn)[J];四川兵工學(xué)報(bào);2014年08期

8 費(fèi)賢舉;王樹鋒;王文;;一種海量大數(shù)據(jù)云存儲(chǔ)系統(tǒng)框架設(shè)計(jì)[J];常州工學(xué)院學(xué)報(bào);2014年03期

9 宋玲;戚云楓;齊東陽(yáng);;分布式k-means聚類算法的改進(jìn)[J];廣西大學(xué)學(xué)報(bào)(自然科學(xué)版);2014年05期

10 趙盈穎;;Hadoop在海量數(shù)據(jù)分析中的應(yīng)用[J];硅谷;2014年21期

相關(guān)會(huì)議論文 前2條

1 生昕格;;基于hadoop的交通云數(shù)據(jù)處理平臺(tái)設(shè)計(jì)[A];第七屆中國(guó)智能交通年會(huì)優(yōu)秀論文集——智能交通應(yīng)用[C];2012年

2 Liang Chen;Jing Qiu;Xueping Gu;;Design of Cloud Computing Architecture for DIOT[A];2013教育技術(shù)與信息系統(tǒng)國(guó)際會(huì)議論文集[C];2013年

相關(guān)博士學(xué)位論文 前2條

1 楊永全;飲食健康中的食物體積估算云計(jì)算技術(shù)研究[D];中國(guó)海洋大學(xué);2013年

2 鄭曉峰;道路運(yùn)輸信息系統(tǒng)的數(shù)據(jù)挖掘方法研究與應(yīng)用[D];華南理工大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 林旭;云存儲(chǔ)中的數(shù)據(jù)刪除技術(shù)研究[D];上海交通大學(xué);2011年

2 張喜;海量數(shù)據(jù)存儲(chǔ)模式的研究[D];廣東工業(yè)大學(xué);2012年

3 苗苗苗;數(shù)據(jù)挖掘中海量數(shù)據(jù)處理算法的研究與實(shí)現(xiàn)[D];西安建筑科技大學(xué);2012年

4 童明;基于HDFS的分布式存儲(chǔ)研究與應(yīng)用[D];華中科技大學(xué);2012年

5 廖松有;模糊C均值與K均值聚類算法及其并行化[D];太原科技大學(xué);2013年

6 李禮;面向云計(jì)算的知識(shí)共享服務(wù)支持系統(tǒng)研究[D];武漢紡織大學(xué);2013年

7 劉曉娟;省地縣一體化電力調(diào)度管理系統(tǒng)通用權(quán)限方案[D];大連理工大學(xué);2013年

8 錢進(jìn)進(jìn);私有云安全存儲(chǔ)技術(shù)的研究與實(shí)現(xiàn)[D];廣東工業(yè)大學(xué);2013年

9 王雅光;基于Hadoop平臺(tái)的DBSCAN算法應(yīng)用研究[D];廣東工業(yè)大學(xué);2013年

10 朱巖;Hadoop云存儲(chǔ)策略的研究與優(yōu)化[D];廣東工業(yè)大學(xué);2013年

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前5條

1 馬立平;統(tǒng)計(jì)數(shù)據(jù)標(biāo)準(zhǔn)化──無(wú)量綱化方法──現(xiàn)代統(tǒng)計(jì)分析方法的學(xué)與用(三)[J];北京統(tǒng)計(jì);2000年03期

2 李俊,李勇;聯(lián)邦式異構(gòu)數(shù)據(jù)庫(kù)應(yīng)用系統(tǒng)的集成框架和實(shí)現(xiàn)技術(shù)的研究[J];計(jì)算機(jī)應(yīng)用研究;2001年04期

3 余華鴻;李穎;張玉川;;數(shù)據(jù)倉(cāng)庫(kù)概述[J];科技信息(科學(xué)教研);2007年13期

4 陳康;鄭緯民;;云計(jì)算:系統(tǒng)實(shí)例與研究現(xiàn)狀[J];軟件學(xué)報(bào);2009年05期

5 劉立坤;武永衛(wèi);徐鵬志;楊廣文;;CorsairFS:一種面向校園網(wǎng)的分布式文件系統(tǒng)[J];西安交通大學(xué)學(xué)報(bào);2009年08期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 閆興美,陳樹中;一種快速的圖象特征匹配算法[J];計(jì)算機(jī)工程與科學(xué);2001年04期

2 梁矗軍;華艷;;一種基于松弛特征關(guān)聯(lián)的3D人臉多特征匹配算法[J];科技通報(bào);2012年12期

3 牛斌;王慶;沈微微;黃秋鳳;張晗s，

本文編號(hào)：1384230