本文關(guān)鍵詞：基于分布式的大規(guī)模視頻轉(zhuǎn)碼系統(tǒng)的設(shè)計與實(shí)現(xiàn)

  更多相關(guān)文章： 視頻轉(zhuǎn)碼 分布式處理 Hadoop MapReduce 云平臺

【摘要】：隨著手機(jī)、平板等移動智能設(shè)備的普遍使用,拍攝視頻已經(jīng)變得非常簡單,加之無線網(wǎng)絡(luò)覆蓋范圍越來越廣以及視頻服務(wù)平臺的增多,觀看視頻、分享視頻已成為人們?nèi)粘Ｉ钪兄匾膴蕵坊顒?加上監(jiān)控設(shè)備的普遍應(yīng)用,每天會有大量的視頻數(shù)據(jù)產(chǎn)生。滿足在不同網(wǎng)絡(luò)環(huán)境中傳輸或持不同終端設(shè)備播放視頻的需求,往往需要對這些視頻文件進(jìn)行轉(zhuǎn)碼。傳統(tǒng)的視頻轉(zhuǎn)碼是集中式的,其儲存能力和計算能力十分有限,且不能隨著數(shù)據(jù)量的增大而動態(tài)增加,因此不適合對大量的視頻數(shù)據(jù)進(jìn)行處理。本文設(shè)計和實(shí)現(xiàn)了一個支持對大規(guī)模視頻進(jìn)行轉(zhuǎn)碼的分布式轉(zhuǎn)碼系統(tǒng)。本文首先詳細(xì)介紹了Hadoop云平臺的兩個核心組成:分布式文件系統(tǒng)HDFS和MapReduce編程框架。重點(diǎn)講解了HDFS的設(shè)計思想和讀寫過程,以及MapReduce的實(shí)現(xiàn)原理和運(yùn)行過程,并簡單分析了幾個Hadoop常用的調(diào)度器。接著介紹了視頻壓縮和轉(zhuǎn)碼等視頻處理的相關(guān)知識。在深入了解視頻轉(zhuǎn)碼和Hadoop云平臺的基礎(chǔ)上,設(shè)計了一個支持大規(guī)模視頻轉(zhuǎn)碼的分布式轉(zhuǎn)碼系統(tǒng),給出了系統(tǒng)的組成,包括四個功能模塊,服務(wù)模塊,管理模塊,轉(zhuǎn)碼模塊,儲存模塊,然后對每個功能模塊的設(shè)計和實(shí)現(xiàn)做了詳細(xì)的說明。最后,本文利用Hadoop的HDFS進(jìn)行視頻儲存,用MapReduce框架進(jìn)行并行處理,并利用多媒體庫Xuggler的視頻處理功能,實(shí)現(xiàn)了系統(tǒng)的分布式視頻轉(zhuǎn)碼功能。系統(tǒng)主要有Hadoop集群構(gòu)成,可由普通的PC機(jī)搭建而成,其儲存和計算的能力可以隨著節(jié)點(diǎn)的增加而增加,動態(tài)適應(yīng)日益增長的大規(guī)模視頻數(shù)據(jù)的轉(zhuǎn)碼需求。文章最后先對系統(tǒng)做了初步的功能性測試,接著用幾組不同大小的數(shù)據(jù)集測試了分布式轉(zhuǎn)碼系統(tǒng)的性能,重點(diǎn)測試和分析了系統(tǒng)總的轉(zhuǎn)碼時間。測試結(jié)果表明:系統(tǒng)在對大規(guī)模視頻數(shù)據(jù)進(jìn)行轉(zhuǎn)碼時,表現(xiàn)出良好的并行性,且隨著Hadoop集群規(guī)模的擴(kuò)大,大大地降低了系統(tǒng)總的轉(zhuǎn)碼時間。最后分析測試了幾個HDFS的配置選項(xiàng)對系統(tǒng)轉(zhuǎn)碼性能的影響,當(dāng)HDFS的block大小接近大部分視頻本身大小,且block副本數(shù)為3的時候,系統(tǒng)獲得更好的轉(zhuǎn)碼時間性能。
【關(guān)鍵詞】：視頻轉(zhuǎn)碼 分布式處理 Hadoop MapReduce 云平臺
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2015
【分類號】：TN919.8

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前1條

1 尚書林;杜清秀;盧漢清;唐小軍;;視頻轉(zhuǎn)碼技術(shù)研究現(xiàn)狀與最新進(jìn)展[J];自動化學(xué)報;2007年12期

，

本文編號：552355