發(fā)布時(shí)間：2018-05-30 08:48

  本文選題：hadoop + 云計(jì)算　； 參考：《南京郵電大學(xué)》2017年碩士論文

【摘要】：當(dāng)前市場(chǎng)上由于終端設(shè)備類(lèi)型的多樣化、各種視頻媒體格式以及網(wǎng)絡(luò)環(huán)境的差異性,需要一種能夠解決海量視頻轉(zhuǎn)碼、實(shí)時(shí)快速處理視頻的技術(shù)。而且隨著數(shù)據(jù)量的快速增加,傳統(tǒng)單機(jī)視頻轉(zhuǎn)碼系統(tǒng)的難以擴(kuò)展性不足以達(dá)到處理能力隨著數(shù)據(jù)量線性增加的要求。為了解決這個(gè)問(wèn)題,本文采用了云計(jì)算技術(shù)中的Hadoop云計(jì)算平臺(tái),它是一個(gè)開(kāi)源框架,同時(shí)支持分布式計(jì)算、海量數(shù)據(jù)處理與存儲(chǔ)。Hadoop開(kāi)源框架的出現(xiàn)使得解決面向多種終端設(shè)備、多種視頻格式、多種碼流要求的海量視頻轉(zhuǎn)碼問(wèn)題成為可能。本論文的主要工作是研究和設(shè)計(jì)基于Hadoop的視頻云轉(zhuǎn)碼系統(tǒng),將云計(jì)算技術(shù)和視頻轉(zhuǎn)碼技術(shù)進(jìn)行融合。本系統(tǒng)由兩部分組成:Web服務(wù)器子系統(tǒng)和Hadoop云平臺(tái)子系統(tǒng),采用了Hadoop中的HDFS分布式文件系統(tǒng)進(jìn)行視頻文件存儲(chǔ),Hadoop中的MapReduce并行計(jì)算框架與Avidemux開(kāi)源視頻切片工具、FFMPEG視頻轉(zhuǎn)碼工具、視頻合并工具M(jìn)encoder共同完成視頻轉(zhuǎn)碼。為了提高系統(tǒng)的轉(zhuǎn)碼性能,本文提出了改進(jìn)后的用于對(duì)視頻數(shù)據(jù)進(jìn)行序列化的方法video Seralizable()和Hadoop云平臺(tái)容錯(cuò)處理機(jī)制,目的是提高系統(tǒng)的轉(zhuǎn)碼性能,增強(qiáng)用戶體驗(yàn)。通過(guò)測(cè)試,驗(yàn)證了本系統(tǒng)基本能夠充分利用現(xiàn)有計(jì)算機(jī)的資源,實(shí)現(xiàn)大規(guī)模視頻數(shù)據(jù)在Hadoop云計(jì)算平臺(tái)上的分布式轉(zhuǎn)碼。與單機(jī)轉(zhuǎn)碼系統(tǒng)相比,達(dá)到提高轉(zhuǎn)碼效率,降低轉(zhuǎn)碼時(shí)間的目的。針對(duì)本文的研究現(xiàn)狀提出了優(yōu)化方案,在未來(lái)的工作中將具體實(shí)施。
[Abstract]:Due to the diversity of terminal device types, the differences of various video media formats and network environment, a technology is needed to solve the problem of mass video transcoding and real-time and fast processing of video. With the rapid increase of data volume, the scalability of traditional single-machine video transcoding system is not enough to meet the requirements of processing capacity linearly increasing with the amount of data. In order to solve this problem, this paper adopts Hadoop cloud computing platform in cloud computing technology, which is an open source framework, and supports distributed computing. The emergence of mass data processing and storage. Hadoop open source framework makes the solution for a variety of terminal devices. It is possible to solve the problem of mass video transcoding in various video formats and bitstream requirements. The main work of this thesis is to study and design the video cloud transcoding system based on Hadoop, and combine cloud computing technology with video transcoding technology. This system consists of two parts: Web server subsystem and Hadoop cloud platform subsystem. The HDFS distributed file system in Hadoop is used to store video files and the MapReduce parallel computing framework in Hadoop and the Avidemux open source video slicing tool FFMPEG video transcoding tool. Video merge tool Mencoder to complete the video transcoding. In order to improve the transcoding performance of the system, this paper proposes an improved method for serializing video data, video Seralizable, and the fault-tolerant processing mechanism of the Hadoop cloud platform. The purpose is to improve the transcoding performance of the system and enhance the user experience. Through the test, it is verified that the system can make full use of the resources of the existing computer and realize the distributed transcoding of large-scale video data on the Hadoop cloud computing platform. Compared with single-machine transcoding system, the efficiency of transcoding is improved and the time of transcoding is reduced. According to the present situation of this paper, the optimization scheme is put forward, which will be carried out in the future.
【學(xué)位授予單位】：南京郵電大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類(lèi)號(hào)】：TN919.8

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王少萍;顧乃杰;沈婕;;基于云平臺(tái)的高并發(fā)WebGIS服務(wù)[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2016年11期

2 李丹;肖炳甲;夏金瑤;王開(kāi)榮;;虛擬EAST模型及數(shù)據(jù)管理系統(tǒng)[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2016年10期

3 顧永興;;面向產(chǎn)業(yè)園區(qū)的智慧云服務(wù)平臺(tái)的分析與研究[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2016年10期

4 王靜;郁梅;李文鋒;駱挺;;抗量化轉(zhuǎn)碼的HEVC視頻流零水印算法[J];光電工程;2016年10期

5 陳磊;;寧波華數(shù)AVS+轉(zhuǎn)碼系統(tǒng)設(shè)計(jì)[J];有線電視技術(shù);2016年09期

6 潘登;李川;;視頻實(shí)時(shí)轉(zhuǎn)碼方法的研究與比較[J];數(shù)字技術(shù)與應(yīng)用;2016年02期

7 萬(wàn)祥;胡念蘇;韓鵬飛;張海石;黎師祺;;大數(shù)據(jù)挖掘技術(shù)應(yīng)用于汽輪機(jī)組運(yùn)行性能優(yōu)化的研究[J];中國(guó)電機(jī)工程學(xué)報(bào);2016年02期

8 李旭;李長(zhǎng)云;張清清;胡淑新;周玲芳;;Hadoop中處理海量小文件的方法[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2015年11期

9 劉鵬;;基于Hadoop的結(jié)構(gòu)化電子病歷存儲(chǔ)檢索系統(tǒng)研究與改進(jìn)[J];中國(guó)數(shù)字醫(yī)學(xué);2015年01期

10 付波;黃廷磊;;用于海量圖像存儲(chǔ)與處理的Hadoop擴(kuò)展[J];桂林電子科技大學(xué)學(xué)報(bào);2014年05期

相關(guān)博士學(xué)位論文 前6條

1 林文敏;云環(huán)境下大數(shù)據(jù)服務(wù)及其關(guān)鍵技術(shù)研究[D];南京大學(xué);2015年

2 駱濤;面向大數(shù)據(jù)處理的并行計(jì)算模型及性能優(yōu)化[D];中國(guó)科學(xué)技術(shù)大學(xué);2015年

3 張常淳;基于MapReduce的大數(shù)據(jù)連接算法的設(shè)計(jì)與優(yōu)化[D];中國(guó)科學(xué)技術(shù)大學(xué);2014年

4 樓巍;面向大數(shù)據(jù)的高維數(shù)據(jù)挖掘技術(shù)研究[D];上海大學(xué);2013年

5 董超;基于網(wǎng)絡(luò)流量監(jiān)測(cè)的移動(dòng)互聯(lián)網(wǎng)特征研究[D];北京郵電大學(xué);2013年

6 李韌;基于Hadoop的大規(guī)模語(yǔ)義Web本體數(shù)據(jù)查詢(xún)與推理關(guān)鍵技術(shù)研究[D];重慶大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 付雷;基于云計(jì)算平臺(tái)的轉(zhuǎn)碼服務(wù)器的設(shè)計(jì)與實(shí)現(xiàn)[D];中國(guó)科學(xué)院研究生院(沈陽(yáng)計(jì)算技術(shù)研究所);2016年

2 何沖;Hadoop集群調(diào)度優(yōu)化的研究[D];上海師范大學(xué);2015年

3 董海豐;一種高效的視頻轉(zhuǎn)碼服務(wù)平臺(tái)的研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2015年

4 謝山山;基于分布式的大規(guī)模視頻轉(zhuǎn)碼系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

5 聶富鵬;視頻轉(zhuǎn)碼傳輸系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];西安電子科技大學(xué);2014年

6 李亞飛;分布式視頻轉(zhuǎn)碼系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];哈爾濱工業(yè)大學(xué);2014年

7 王利鋒;基于Hadoop的云轉(zhuǎn)碼系統(tǒng)研究及性能優(yōu)化[D];北京交通大學(xué);2014年

8 高東海;基于Hadoop的離線視頻數(shù)據(jù)處理技術(shù)研究與應(yīng)用[D];北京郵電大學(xué);2014年

9 葛錚錚;異構(gòu)集群環(huán)境下作業(yè)調(diào)度算法研究[D];西安電子科技大學(xué);2014年

10 吳鋒;基于Hadoop平臺(tái)的視頻轉(zhuǎn)碼系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];上海交通大學(xué);2014年

，

本文編號(hào)：1954679