本文關(guān)鍵詞：基于流式計算的大規(guī)模監(jiān)控視頻分析關(guān)鍵技術(shù)研究，由筆耕文化傳播整理發(fā)布。

【摘要】：大規(guī)模智能視頻分析已經(jīng)成為視頻監(jiān)控的迫切需求,但是具體實現(xiàn)面臨兩個問題:首先是智能算法的準確性。準確高效的算法可以減少誤報、錯誤率,真正發(fā)揮智能監(jiān)控的效果;其次是分析平臺的構(gòu)建。在進行大規(guī)模視頻分析時如何解決所需要的計算能力、IO等問題。本文著眼于后者,通過基于流式的方式探討如何解決大規(guī)模監(jiān)控視頻實時分析面臨的計算和IO等問題。我們設(shè)計并實現(xiàn)一種基于流式計算的大規(guī)模監(jiān)控視頻分析系統(tǒng)。該系統(tǒng)的設(shè)計與實現(xiàn)主要關(guān)注三個關(guān)鍵的問題:1)避免IO的瓶頸。相比日志文件的小文件,監(jiān)控視頻流的數(shù)據(jù)量大,因此首要解決如何將大規(guī)模的監(jiān)控流導入到分析平臺;2)如何為大規(guī)模監(jiān)控視頻分析組織所需要的計算能力。智能視頻分析算法都是計算密集型工作,需要消耗大量的計算資源;3)實現(xiàn)計算可擴展性來滿足用戶對視頻分析規(guī)模的需求變化,需要探究計算可擴展性。我們的方案是基于SPARK分析平臺,融合了流式計算技術(shù)、內(nèi)存計算技術(shù),通過優(yōu)化SPARK使之適合大規(guī)模視頻智能分析應用,并開發(fā)了一個原型系統(tǒng)驗證了我們的想法。概況起來,主要完成的工作如下:第一,在大規(guī)模視頻流匯聚導入到分析平臺時,采用基于計算能力感知的接收器位置分配策略。該策略能夠依據(jù)計算節(jié)點的能力將視頻流導入的IO分散在不同的計算節(jié)點之上,解決IO分布的問題。第二,在實現(xiàn)視頻流數(shù)據(jù)的實時性處理時,采用基于數(shù)據(jù)本地性的實時任務(wù)調(diào)度策略,將改進的實時任務(wù)調(diào)度算法應用在數(shù)據(jù)的快速處理上,解決延時調(diào)度策略產(chǎn)生的數(shù)據(jù)等待處理的長延時問題。在數(shù)據(jù)訪問上,基于內(nèi)存計算技術(shù)有效降低IO訪問時間,提高大規(guī)模視頻處理效率,有效轉(zhuǎn)化監(jiān)控視頻流的實時價值。第三,在計算擴展性方面,實現(xiàn)了1)自適應的任務(wù)計算。通過基于優(yōu)先級的丟幀策略來保證系統(tǒng)的穩(wěn)定運行;2)系統(tǒng)的水平可擴展性。通過動態(tài)的添加機器來增加系統(tǒng)的計算能力。初步的研究成果表明基于流式計算的大規(guī)模監(jiān)控視頻分析能夠使得大型視頻聯(lián)網(wǎng)智能監(jiān)控系統(tǒng)工作,達到對大規(guī)模監(jiān)控視頻進行實時智能分析的效果。
【關(guān)鍵詞】：流式計算 內(nèi)存計算 大規(guī)模視頻流分析 智能視頻分析
【學位授予單位】：上海大學
【學位級別】：碩士
【學位授予年份】：2015
【分類號】：TP391.41;TN948.6
【目錄】：

• 摘要6-7
• ABSTRACT7-11
• 第一章 緒論11-19
• 1.1 課題研究的目的和意義11-14
• 1.1.1 研究背景11-13
• 1.1.2 研究意義13-14
• 1.2 國內(nèi)外視頻分析研究概況14-17
• 1.3 論文的主要研究內(nèi)容17-19
• 第二章 相關(guān)技術(shù)及需求分析19-29
• 2.1 大數(shù)據(jù)計算平臺SPARK19-21
• 2.1.1 流式計算技術(shù)19-20
• 2.1.2 內(nèi)存計算技術(shù)20
• 2.1.3 SPARK計算平臺20-21
• 2.2 視頻分析技術(shù)OpenCV21-22
• 2.3 需求分析22-29
• 2.3.1 高清監(jiān)控流智能分析的計算能力需求22-25
• 2.3.2 大規(guī)模監(jiān)控視頻數(shù)據(jù)匯聚導入問題25-27
• 2.3.3 分析平臺的可擴展性需求27-29
• 第三章 系統(tǒng)關(guān)鍵技術(shù)研究29-57
• 3.1 大規(guī)模監(jiān)控視頻分析的關(guān)鍵技術(shù)分析29-31
• 3.2 大規(guī)模監(jiān)控視頻流匯聚研究31-42
• 3.2.1 研究目標31-32
• 3.2.2 默認接收器位置分配方式的缺陷32-34
• 3.2.3 基于計算能力感知的接收器位置分配規(guī)則34-42
• 3.3 大規(guī)模監(jiān)控視頻流分析負載均衡研究42-51
• 3.3.1 研究目標42
• 3.3.2 分布式內(nèi)存抽象技術(shù)42-45
• 3.3.3 基于數(shù)據(jù)本地性的實時任務(wù)調(diào)度機制45-51
• 3.4 大規(guī)模監(jiān)控視頻分析的可擴展性研究51-57
• 3.4.1 研究目標51-52
• 3.4.2 自適應的任務(wù)計算策略52-56
• 3.4.3 動態(tài)增加計算性能56-57
• 第四章 實驗測試與分析57-70
• 4.1 系統(tǒng)設(shè)計57-60
• 4.1.1 總體框架57-59
• 4.1.2 硬件平臺59
• 4.1.3 軟件堆棧59-60
• 4.2 實驗環(huán)境60-62
• 4.2.1 硬件環(huán)境60
• 4.2.2 軟件環(huán)境60-62
• 4.3 實驗結(jié)果與分析62-70
• 4.3.1 基于計算能力感知的接收器位置分配規(guī)則評估63-66
• 4.3.2 基于數(shù)據(jù)塊本地性的任務(wù)調(diào)度評估66-68
• 4.3.3 可擴展性的研究評估68-70
• 第五章 結(jié)論與展望70-72
• 5.1 結(jié)論70-71
• 5.2 展望71-72
• 參考文獻72-75
• 作者在攻讀碩士學位期間公開發(fā)表的論文75-76
• 作者在攻讀碩士學位期間所作的項目76-77
• 致謝77

【參考文獻】

中國期刊全文數(shù)據(jù)庫 前2條

1 耿晨曜;姚丹亞;張盈盈;張煦;常剛;;基于Map Reduce的分布式視頻處理平臺[J];計算機工程;2012年10期

2 孟小峰;慈祥;;大數(shù)據(jù)管理:概念、技術(shù)與挑戰(zhàn)[J];計算機研究與發(fā)展;2013年01期

中國碩士學位論文全文數(shù)據(jù)庫 前1條

1 顧昕;分布式流式計算框架關(guān)鍵技術(shù)的研究與實現(xiàn)[D];北京郵電大學;2012年

  本文關(guān)鍵詞：基于流式計算的大規(guī)模監(jiān)控視頻分析關(guān)鍵技術(shù)研究，，由筆耕文化傳播整理發(fā)布。

本文編號：319262