隨著體育視頻數(shù)據(jù)量的快速增長,如何高效地存儲、管理和分析龐大的體育視頻數(shù)據(jù)成為一個亟需解決的難題。通過設計和實現(xiàn)通用的體育視頻處理平臺,封裝在存儲和計算過程中涉及的重復的工作并對外提供統(tǒng)一的調(diào)用接口,極大地簡化用戶使用大數(shù)據(jù)框架處理視頻數(shù)據(jù)的流程,對體育視頻處理具有重要意義。為了實現(xiàn)高效文件存儲和視頻處理,借助目前廣泛使用的大數(shù)據(jù)組件設計并實現(xiàn)一個針對體育視頻的大數(shù)據(jù)處理平臺。平臺由文件存儲系統(tǒng)、視頻分布式處理系統(tǒng)和任務調(diào)度系統(tǒng)三部分組成。文件存儲系統(tǒng)主要包括分布式緩存模塊和小文件存儲模塊,前者基于代理的思想使用Redis搭建分布式緩存子系統(tǒng),后者利用基于索引的歸檔文件實現(xiàn)小文件的高效存儲和讀取。視頻分布式處理系統(tǒng)利用Spark實現(xiàn)視頻分布式解碼以提高視頻解碼的速度,且對FFmpeg和OpenCV等常用的視頻圖像處理算法庫進行封裝以便于Spark直接調(diào)用,同時借助足球視頻的運動強度檢測驗證了平臺提升視頻處理速度的可行性。任務調(diào)度系統(tǒng)基于設計的混合粒子群優(yōu)化算法實現(xiàn)平臺的任務調(diào)度功能,它能有效提高平臺的資源利用率和降低任務完成時間。平臺采用主從式的架構(gòu),保證了平臺的高可用性和擴展性,實驗結(jié)果表明平臺可以實現(xiàn)文件的高效存儲并提升視頻解碼和視頻內(nèi)容分析的速度。下一步研究重點是基于平臺開發(fā)更多視頻應用。
【學位單位】：華中科技大學
【學位級別】：碩士
【學位年份】：2019
【中圖分類】：G80-05;TP391.41
【文章目錄】：
摘要
Abstract
1 緒論
    1.1 研究目的及意義
    1.2 國內(nèi)外研究現(xiàn)狀
    1.3 研究目標及所做的工作
    1.4 論文的組織結(jié)構(gòu)
2 分布式文件存儲系統(tǒng)的設計與實現(xiàn)
    2.1 分布式文件存儲系統(tǒng)的整體架構(gòu)
    2.2 分布式緩存
    2.3 小文件存儲
    2.4 實驗結(jié)果與分析
    2.5 本章小結(jié)
3 視頻分布式處理系統(tǒng)的設計與實現(xiàn)
    3.1 視頻分布式處理系統(tǒng)的整體架構(gòu)
    3.2 視頻解碼的分布式實現(xiàn)
    3.3 特征提取的分布式實現(xiàn)
    3.4 實驗結(jié)果與分析
    3.5 本章小結(jié)
4 基于混合粒子群優(yōu)化算法的任務調(diào)度
    4.1 粒子群優(yōu)化算法
    4.2 混合粒子群優(yōu)化算法
    4.3 HPSO算法的任務調(diào)度模型
    4.4 HPSO算法的任務調(diào)度實現(xiàn)
    4.5 實驗結(jié)果與分析
    4.6 本章小結(jié)
5 總結(jié)與展望
    5.1 全文總結(jié)
    5.2 存在的問題
    5.3 研究展望
致謝
參考文獻

【相似文獻】

相關(guān)期刊論文 前10條

1 李子乾;朱青;穆松鶴;張月;;云計算的智能電網(wǎng)大數(shù)據(jù)處理平臺[J];粘接;2019年11期

2 李為波;;基于大數(shù)據(jù)的綜合數(shù)據(jù)處理平臺方案設計研究[J];數(shù)字技術(shù)與應用;2017年01期

3 吳永飛;;基于分布式的多活數(shù)據(jù)處理平臺探索[J];金融電子化;2016年12期

4 林華兵;;數(shù)據(jù)處理平臺高可靠性的設計與實現(xiàn)[J];中國金融電腦;2010年11期

5 陳旭洋;;建立縣級綜合數(shù)據(jù)處理平臺的一些想法[J];浙江統(tǒng)計;2006年08期

6 胡瑤 ,段鵬瑞 ,高文昌;網(wǎng)絡優(yōu)化的數(shù)據(jù)處理平臺[J];中國無線電;2004年11期

7 周蕓韜;;基于R語言的大數(shù)據(jù)處理平臺的設計與實現(xiàn)[J];現(xiàn)代電子技術(shù);2017年02期

8 董紅娟;張建龍;欒春雪;石月;;基于陸態(tài)網(wǎng)絡數(shù)據(jù)處理平臺的精密單點定位分析[J];煤炭技術(shù);2016年03期

9 呂益民;宮夏屹;聶春華;;公安大數(shù)據(jù)處理平臺的探索[J];廣東公安科技;2014年03期

10 張濤;李建;康永佳;;多任務高并發(fā)數(shù)據(jù)處理平臺的技術(shù)研究[J];網(wǎng)絡安全技術(shù)與應用;2010年03期

相關(guān)博士學位論文 前3條

1 李宇昕;全腦光學顯微成像大數(shù)據(jù)處理平臺的初步構(gòu)建和應用[D];華中科技大學;2018年

2 陸宏亮;賽博—物理空間中數(shù)據(jù)分布式聚合與大規(guī)模處理關(guān)鍵技術(shù)研究[D];國防科學技術(shù)大學;2016年

3 林文輝;基于Hadoop的海量網(wǎng)絡數(shù)據(jù)處理平臺的關(guān)鍵技術(shù)研究[D];北京郵電大學;2014年

相關(guān)碩士學位論文 前10條

1 吳永峰;基于容器云的流數(shù)據(jù)處理平臺服務的研究與實現(xiàn)[D];上海交通大學;2017年

2 蔡恒友;體育視頻大數(shù)據(jù)處理平臺的設計與實現(xiàn)[D];華中科技大學;2019年

3 戴云揚;海量銷售數(shù)據(jù)處理平臺的設計與實現(xiàn)[D];上海交通大學;2016年

4 錢石磊;分布式流數(shù)據(jù)處理平臺基準評測與性能優(yōu)化[D];上海交通大學;2017年

5 徐玉景;基于Kafka的全鏈路流數(shù)據(jù)處理平臺的設計與實現(xiàn)[D];山東大學;2018年

6 黃偉;云環(huán)境下大數(shù)據(jù)處理平臺性能分析與優(yōu)化研究[D];杭州電子科技大學;2018年

7 李艷驕;正藍旗環(huán)保局監(jiān)測數(shù)據(jù)處理平臺的設計與實現(xiàn)[D];大連理工大學;2018年

8 孫啟慧;大數(shù)據(jù)處理平臺的存儲優(yōu)化技術(shù)研究[D];云南大學;2017年

9 張雪姣;面向電動汽車的高并發(fā)數(shù)據(jù)處理平臺的設計與實現(xiàn)[D];電子科技大學;2018年

10 榮彬杰;基于雙核PowerPC的雷達信號數(shù)據(jù)處理平臺設計[D];電子科技大學;2018年

本文編號：2890970