【摘要】：為了實(shí)現(xiàn)海量視頻數(shù)據(jù)的高效并行處理,將視頻數(shù)據(jù)集解耦合實(shí)現(xiàn)任務(wù)的高并行度,通過Spark讀取數(shù)據(jù)流的同時獲取關(guān)鍵幀的方式解決了解耦視頻數(shù)據(jù)引起數(shù)據(jù)倍增問題,并對圖片特征數(shù)據(jù)進(jìn)行優(yōu)化,進(jìn)而在Spark上實(shí)現(xiàn)了具有高可擴(kuò)展性并行處理海量視頻數(shù)據(jù)的框架。在天河二號云平臺上進(jìn)行部署實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明,隨著處理節(jié)點(diǎn)個數(shù)增加,本框架可以獲得近線性的加速比。
[Abstract]:In order to realize the efficient parallel processing of mass video data, the high parallelism of the task is realized by decoupling the video data set, and the problem of data multiplication caused by decoupling video data is solved by reading the data stream and obtaining the key frame by Spark. By optimizing the image feature data, the framework of parallel processing of massive video data with high scalability is implemented on Spark. The experimental results on the Tianhe-2 cloud platform show that with the increase of the number of nodes, the acceleration ratio of the proposed framework can be obtained with the increase of the number of nodes.
【作者單位】： 國防科學(xué)技術(shù)大學(xué)計算機(jī)學(xué)院;
【基金】：國家“863”計劃資助項目(2013AA01A212)
【分類號】：TP391.41

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 李萍;魯艷萍;;視頻轉(zhuǎn)碼技術(shù)的專利分析[J];電視技術(shù);2013年S2期

2 嚴(yán)肅;陳啟美;方懷東;;高速公路聯(lián)網(wǎng)監(jiān)控中異構(gòu)視頻轉(zhuǎn)碼技術(shù)實(shí)現(xiàn)[J];交通運(yùn)輸系統(tǒng)工程與信息;2008年02期

3 王海蓉;邢衛(wèi);魯東明;;面向移動網(wǎng)絡(luò)的實(shí)時視頻轉(zhuǎn)碼系統(tǒng)[J];計算機(jī)工程;2009年03期

4 南湖秋水;;掌中影音伴侶:手機(jī)視頻轉(zhuǎn)碼的智能幫手[J];網(wǎng)友世界;2010年16期

5 徐龍;;雙B/S模式下解決交通違法視頻證據(jù)管理的效率問題[J];交通標(biāo)準(zhǔn)化;2014年05期

6 呂卓逸;賈克斌;蕭允治;;低復(fù)雜度的快速降尺寸視頻轉(zhuǎn)碼算法[J];通信學(xué)報;2012年01期

7 趙新峰;王恒;;一種基于感興趣區(qū)域元數(shù)據(jù)的視頻轉(zhuǎn)碼方案[J];計算機(jī)與現(xiàn)代化;2012年09期

8 鄢欣萌;何小海;曾強(qiáng)宇;呂瑞;;基于SVC碼流自適應(yīng)機(jī)制的視頻轉(zhuǎn)碼技術(shù)[J];電視技術(shù);2010年01期

9 錢少先;關(guān)于并行計算的若干問題[J];安慶師范學(xué)院學(xué)報(自然科學(xué)版);2001年02期

10 吳剛,王懷民,毛新軍;可成長的分布式系統(tǒng)[J];計算機(jī)工程與科學(xué);2005年03期

相關(guān)會議論文 前10條

1 許趙云;黃林鵬;;分布式系統(tǒng)動態(tài)更新的研究[A];2007年全國開放式分布與并行計算機(jī)學(xué)術(shù)會議論文集(下冊)[C];2007年

2 殷躍鵬;郭長國;李小玲;王懷民;;基于事件的分布式系統(tǒng)行為分析框架[A];2010年全國開放式分布與并行計算機(jī)學(xué)術(shù)會議論文集[C];2010年

3 王曉鵬;蘇亮;韓偉紅;周斌;;大型分布式系統(tǒng)部署一致性的研究與實(shí)現(xiàn)[A];2006年全國開放式分布與并行計算機(jī)學(xué)術(shù)會議論文集（三）[C];2006年

4 何明;裘杭萍;楊飛;劉勇;;基于可信分布式系統(tǒng)的可信認(rèn)證技術(shù)研究[A];全國計算機(jī)安全學(xué)術(shù)交流會論文集（第二十三卷）[C];2008年

5 張理濤;黃廷祝;谷同祥;左憲禹;;一種適合于分布式并行計算改進(jìn)的平方共軛殘差法[A];2008年全國開放式分布與并行計算機(jī)學(xué)術(shù)會議論文集(下冊)[C];2008年

6 宋庭新;李慧;;面向服務(wù)的有限元并行計算網(wǎng)格系統(tǒng)設(shè)計[A];湖北省機(jī)械工程學(xué)會設(shè)計與傳動學(xué)會、武漢機(jī)械設(shè)計與傳動學(xué)會2008年學(xué)術(shù)年會論文集（2）[C];2008年

7 譚榮樂;袁國興;劉興平;;高性能數(shù)值并行計算程序的移植[A];中國工程物理研究院科技年報（1999）[C];1999年

8 張亞林;石正軍;黃清南;李麗娟;;純幾何光線追跡的數(shù)值并行計算[A];中國工程物理研究院科技年報（2003）[C];2003年

9 郭力;秦東明;江鷹;易鋒;葛蔚;李靜海;;并行計算在粒子方法模擬中的應(yīng)用[A];第九屆全國計算（機(jī)）化學(xué)學(xué)術(shù)會議論文摘要集[C];2007年

10 石虎;熊健民;宋庭新;;全主元高斯消去法在有限元并行計算中的應(yīng)用[A];湖北省機(jī)械工程學(xué)會設(shè)計與傳動學(xué)會、武漢機(jī)械設(shè)計與傳動學(xué)會2008年學(xué)術(shù)年會論文集（2）[C];2008年

相關(guān)重要報紙文章 前4條

1 英特爾并行計算實(shí)驗(yàn)室研究員 TimothyMattson;并行計算:減少串行軟件[N];中國計算機(jī)報;2007年

2 曙光信息產(chǎn)業(yè)有限公司研發(fā)中心 溫鑫;并行計算軟件開發(fā)概述[N];中國計算機(jī)報;2007年

3 撫蘇;大數(shù)據(jù)帶來價值[N];電腦報;2013年

4 劉琦;伯克利專家展望未來并行計算[N];中國計算機(jī)報;2008年

相關(guān)博士學(xué)位論文 前10條

1 曹海儐;海量視頻的分布式協(xié)作處理與檢索研究[D];中國科學(xué)技術(shù)大學(xué);2013年

2 孫安香;數(shù)值氣象預(yù)報變分同化的伴隨模式并行計算[D];中國人民解放軍國防科學(xué)技術(shù)大學(xué);2002年

3 張理論;面向氣象預(yù)報數(shù)值模式的高效并行計算研究[D];中國人民解放軍國防科學(xué)技術(shù)大學(xué);2002年

4 鄭紅;分布式系統(tǒng)形式化建模技術(shù)研究[D];中國科學(xué)院研究生院（軟件研究所）;2003年

5 龍柏;并行計算平臺上的數(shù)據(jù)索引技術(shù)研究[D];中國科學(xué)技術(shù)大學(xué);2011年

6 王德俊;面向服務(wù)的分布式系統(tǒng)動態(tài)更新研究[D];上海交通大學(xué);2010年

7 張帆;過程系統(tǒng)優(yōu)化的分布式并行計算[D];浙江大學(xué);2002年

8 陳曉江;分布式系統(tǒng)軟件體系結(jié)構(gòu)建模與開發(fā)方法研究[D];西北大學(xué);2010年

9 劉壽生;虛擬現(xiàn)實(shí)仿真平臺異構(gòu)并行計算關(guān)鍵技術(shù)研究[D];中國海洋大學(xué);2014年

10 何盼;面向可靠性優(yōu)化設(shè)計的分布式系統(tǒng)資源分配研究[D];重慶大學(xué);2012年

相關(guān)碩士學(xué)位論文 前10條

1 連序全;基于Hadoop平臺的視頻拷貝檢測研究[D];山東大學(xué);2015年

2 宋揚(yáng);基于Hadoop的視頻轉(zhuǎn)碼優(yōu)化的研究[D];吉林大學(xué);2016年

3 胡瓊;基于Hadoop的視頻偵查輔助平臺的設(shè)計與實(shí)現(xiàn)[D];東南大學(xué);2016年

4 張巍;警務(wù)圖像偵查系統(tǒng)的設(shè)計與實(shí)現(xiàn)[D];華南理工大學(xué);2016年

5 梁仕昌;在線流媒體視頻播放系統(tǒng)設(shè)計及實(shí)現(xiàn)[D];華南理工大學(xué);2016年

6 朱慧;基于C66AK多核處理器的H.264到HEVC視頻轉(zhuǎn)碼軟件設(shè)計[D];浙江工業(yè)大學(xué);2016年

7 羅瑞;AVS到HEVC高效視頻轉(zhuǎn)碼技術(shù)[D];上海交通大學(xué);2015年

8 楊軍杰;面向云平臺的視頻摘要技術(shù)的研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2014年

9 彭華聰;基于Hadoop的視頻摘要的設(shè)計與實(shí)現(xiàn)[D];華南理工大學(xué);2013年

10 張國慶;基于FFmpeg的視頻轉(zhuǎn)碼與保護(hù)系統(tǒng)的設(shè)計與實(shí)現(xiàn)[D];華中師范大學(xué);2011年

，

本文編號：2166598