本文關(guān)鍵詞：基于Hadoop的視頻轉(zhuǎn)碼優(yōu)化的研究，，由筆耕文化傳播整理發(fā)布。

【摘要】：在“互聯(lián)網(wǎng)+”的大潮推動下,人們對視頻的轉(zhuǎn)碼速度和質(zhì)量等多方面需求日益增長。在2015年度的網(wǎng)絡(luò)流量年報(bào)總結(jié)中可以看出,有關(guān)視頻的流量成為了人們生活中消耗最大,占比例最大的一種。目前無論是工業(yè)界還是學(xué)術(shù)界,如何解決視頻轉(zhuǎn)碼處理高效、高質(zhì)量、高可用的“三高”問題,成為了研究的重點(diǎn)和核心。為此本文開展了視頻轉(zhuǎn)碼的優(yōu)化研究。本文采用云計(jì)算技術(shù)對視頻進(jìn)行轉(zhuǎn)碼,使用云環(huán)境達(dá)到并行計(jì)算,完成高效和高可用,力求轉(zhuǎn)碼前后質(zhì)量不會發(fā)生巨大偏差。本文設(shè)計(jì)了一個(gè)視頻轉(zhuǎn)碼云平臺。該平臺采用典型的三層結(jié)構(gòu):Iaa S選用的是Amazon基礎(chǔ)設(shè)施云;Paa S選用的是Hadoop;Saa S中運(yùn)行的是高性能的視頻轉(zhuǎn)碼應(yīng)用。本文提出了采用將FFMPEG和Map Reduce技術(shù)融合實(shí)現(xiàn)視頻轉(zhuǎn)碼優(yōu)化策略。文中創(chuàng)新性地提出了S_Map Reduce結(jié)構(gòu)并在S_Map Reduce中引入虛擬IP機(jī)制來提高可擴(kuò)展性和改變了Map Reduce架構(gòu)的不可跨域等多個(gè)問題;設(shè)計(jì)了心跳包流程并改進(jìn)了負(fù)載均衡模塊,使整個(gè)架構(gòu)能高效、穩(wěn)定的進(jìn)行任務(wù)處理;對Map Reduce的工作流和數(shù)據(jù)流進(jìn)行修改和優(yōu)化,提高計(jì)算架構(gòu)的效率。視頻轉(zhuǎn)碼優(yōu)化是基于云平臺,將FFMPEG和S_Map Reduce融合,實(shí)現(xiàn)分布式轉(zhuǎn)碼。主要工作包括:(1)根據(jù)固定場景和多個(gè)限定條件,將累贅的部分刪除掉,為FFMPEG進(jìn)行了合理化的瘦身。完成了針對于S_Map Reduce的NALU設(shè)計(jì),提出了防競爭機(jī)制,避免出現(xiàn)競爭和頂替錯(cuò)誤(2)設(shè)計(jì)了APU格式來配合Map Reduce進(jìn)行分塊處理,并優(yōu)化了解碼流程,提高了效率。(3)設(shè)計(jì)了二次校驗(yàn)算法并保證了數(shù)據(jù)的完整性和有序性。實(shí)驗(yàn)環(huán)境使用了19個(gè)節(jié)點(diǎn)來建設(shè)轉(zhuǎn)碼云,在實(shí)驗(yàn)數(shù)據(jù)方面采用多層次、多維度,這樣保證了實(shí)驗(yàn)的全面性和嚴(yán)謹(jǐn)性。本文中實(shí)驗(yàn)主要是對視頻轉(zhuǎn)碼效果和視頻質(zhì)量進(jìn)行測試。通過實(shí)驗(yàn)可以得知在效率方面比未修改的FFMPEG方法有顯著提高,而隨著數(shù)據(jù)量的增加本文方案效率的提升也逐漸加快。對比多點(diǎn)和單點(diǎn)架構(gòu)可以得出結(jié)論,當(dāng)單個(gè)文件大小是10GB時(shí)本文方案的效率提升可以達(dá)到對照方案的16.4倍。
【關(guān)鍵詞】：視頻轉(zhuǎn)碼 虛擬IP FFMPEG Hadoop Map Reduce
【學(xué)位授予單位】：吉林大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP311.13;TP393.09
【目錄】：

• 摘要4-5
• Abstract5-9
• 第一章 引言9-12
• 1.1 項(xiàng)目背景及意義9
• 1.2 國內(nèi)外研究現(xiàn)狀9-11
• 1.2.1 國內(nèi)現(xiàn)狀9-10
• 1.2.2 國外現(xiàn)狀10-11
• 1.3 本文主要工作11
• 1.4 論文結(jié)構(gòu)11-12
• 第二章 相關(guān)技術(shù)基礎(chǔ)12-17
• 2.1 云計(jì)算12
• 2.2 Hadoop平臺12-13
• 2.3 MapReduce計(jì)算架構(gòu)13-15
• 2.4 視頻轉(zhuǎn)碼技術(shù)15-17
• 第三章 轉(zhuǎn)碼云平臺架構(gòu)設(shè)計(jì)17-21
• 3.1 視頻轉(zhuǎn)碼云體系結(jié)構(gòu)17-18
• 3.2 技術(shù)選擇18-19
• 3.3 轉(zhuǎn)碼云工作流設(shè)計(jì)19-21
• 第四章S_MapReduce架構(gòu)21-29
• 4.1 S_MapReduce架構(gòu)設(shè)計(jì)21-22
• 4.2 S_MapReduce心跳包設(shè)計(jì)22-24
• 4.3 S_MapReduce工作流和數(shù)據(jù)流設(shè)計(jì)24-27
• 4.4 負(fù)載均衡模塊設(shè)計(jì)27-29
• 第五章 視頻轉(zhuǎn)碼的優(yōu)化設(shè)計(jì)29-42
• 5.1 FFMPEG解碼29-34
• 5.1.1 NAL單元設(shè)計(jì)29-32
• 5.1.2 解碼過程32-33
• 5.1.3 二次校驗(yàn)算法設(shè)計(jì)33-34
• 5.2 S_MapReduce和FFMPEG融合34-42
• 5.2.1 S_MapReduce和FFMPEG框架整合34-36
• 5.2.2 S_MapReduce分塊策略設(shè)計(jì)36
• 5.2.3 APU原子處理單元設(shè)計(jì)36-37
• 5.2.4 分割點(diǎn)設(shè)計(jì)37-39
• 5.2.5 時(shí)間戳的單調(diào)性39
• 5.2.6 轉(zhuǎn)碼S_MapReduce算法設(shè)計(jì)39-42
• 第六章 實(shí)驗(yàn)與分析42-50
• 6.1 實(shí)驗(yàn)環(huán)境42-43
• 6.2 實(shí)驗(yàn)數(shù)據(jù)準(zhǔn)備43-44
• 6.3 實(shí)驗(yàn)與分析44-50
• 第七章 總結(jié)與展望50-52
• 7.1 總結(jié)50
• 7.2 展望50-52
• 參考文獻(xiàn)52-56
• 致謝56-57
• 作者簡介及在校期間所取得的科研成果57

【參考文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前2條

1 楊帆;沈奇威;;分布式系統(tǒng)Hadoop平臺的視頻轉(zhuǎn)碼[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2011年11期

2 劉智國;張雅明;;淺談FLV視頻格式[J];電腦知識與技術(shù);2008年20期

  本文關(guān)鍵詞：基于Hadoop的視頻轉(zhuǎn)碼優(yōu)化的研究，由筆耕文化傳播整理發(fā)布。

本文編號：311261