發(fā)布時(shí)間：2017-04-20 18:16

  本文關(guān)鍵詞：基于流式計(jì)算的大規(guī)模監(jiān)控視頻分析關(guān)鍵技術(shù)研究，由筆耕文化傳播整理發(fā)布。

【摘要】：大規(guī)模智能視頻分析已經(jīng)成為視頻監(jiān)控的迫切需求,但是具體實(shí)現(xiàn)面臨兩個(gè)問(wèn)題:首先是智能算法的準(zhǔn)確性。準(zhǔn)確高效的算法可以減少誤報(bào)、錯(cuò)誤率,真正發(fā)揮智能監(jiān)控的效果;其次是分析平臺(tái)的構(gòu)建。在進(jìn)行大規(guī)模視頻分析時(shí)如何解決所需要的計(jì)算能力、IO等問(wèn)題。本文著眼于后者,通過(guò)基于流式的方式探討如何解決大規(guī)模監(jiān)控視頻實(shí)時(shí)分析面臨的計(jì)算和IO等問(wèn)題。我們?cè)O(shè)計(jì)并實(shí)現(xiàn)一種基于流式計(jì)算的大規(guī)模監(jiān)控視頻分析系統(tǒng)。該系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)主要關(guān)注三個(gè)關(guān)鍵的問(wèn)題:1)避免IO的瓶頸。相比日志文件的小文件,監(jiān)控視頻流的數(shù)據(jù)量大,因此首要解決如何將大規(guī)模的監(jiān)控流導(dǎo)入到分析平臺(tái);2)如何為大規(guī)模監(jiān)控視頻分析組織所需要的計(jì)算能力。智能視頻分析算法都是計(jì)算密集型工作,需要消耗大量的計(jì)算資源;3)實(shí)現(xiàn)計(jì)算可擴(kuò)展性來(lái)滿足用戶對(duì)視頻分析規(guī)模的需求變化,需要探究計(jì)算可擴(kuò)展性。我們的方案是基于SPARK分析平臺(tái),融合了流式計(jì)算技術(shù)、內(nèi)存計(jì)算技術(shù),通過(guò)優(yōu)化SPARK使之適合大規(guī)模視頻智能分析應(yīng)用,并開發(fā)了一個(gè)原型系統(tǒng)驗(yàn)證了我們的想法。概況起來(lái),主要完成的工作如下:第一,在大規(guī)模視頻流匯聚導(dǎo)入到分析平臺(tái)時(shí),采用基于計(jì)算能力感知的接收器位置分配策略。該策略能夠依據(jù)計(jì)算節(jié)點(diǎn)的能力將視頻流導(dǎo)入的IO分散在不同的計(jì)算節(jié)點(diǎn)之上,解決IO分布的問(wèn)題。第二,在實(shí)現(xiàn)視頻流數(shù)據(jù)的實(shí)時(shí)性處理時(shí),采用基于數(shù)據(jù)本地性的實(shí)時(shí)任務(wù)調(diào)度策略,將改進(jìn)的實(shí)時(shí)任務(wù)調(diào)度算法應(yīng)用在數(shù)據(jù)的快速處理上,解決延時(shí)調(diào)度策略產(chǎn)生的數(shù)據(jù)等待處理的長(zhǎng)延時(shí)問(wèn)題。在數(shù)據(jù)訪問(wèn)上,基于內(nèi)存計(jì)算技術(shù)有效降低IO訪問(wèn)時(shí)間,提高大規(guī)模視頻處理效率,有效轉(zhuǎn)化監(jiān)控視頻流的實(shí)時(shí)價(jià)值。第三,在計(jì)算擴(kuò)展性方面,實(shí)現(xiàn)了1)自適應(yīng)的任務(wù)計(jì)算。通過(guò)基于優(yōu)先級(jí)的丟幀策略來(lái)保證系統(tǒng)的穩(wěn)定運(yùn)行;2)系統(tǒng)的水平可擴(kuò)展性。通過(guò)動(dòng)態(tài)的添加機(jī)器來(lái)增加系統(tǒng)的計(jì)算能力。初步的研究成果表明基于流式計(jì)算的大規(guī)模監(jiān)控視頻分析能夠使得大型視頻聯(lián)網(wǎng)智能監(jiān)控系統(tǒng)工作,達(dá)到對(duì)大規(guī)模監(jiān)控視頻進(jìn)行實(shí)時(shí)智能分析的效果。
【關(guān)鍵詞】：流式計(jì)算 內(nèi)存計(jì)算 大規(guī)模視頻流分析 智能視頻分析
【學(xué)位授予單位】：上海大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2015
【分類號(hào)】：TP391.41;TN948.6
【目錄】：

• 摘要6-7
• ABSTRACT7-11
• 第一章 緒論11-19
• 1.1 課題研究的目的和意義11-14
• 1.1.1 研究背景11-13
• 1.1.2 研究意義13-14
• 1.2 國(guó)內(nèi)外視頻分析研究概況14-17
• 1.3 論文的主要研究?jī)?nèi)容17-19
• 第二章 相關(guān)技術(shù)及需求分析19-29
• 2.1 大數(shù)據(jù)計(jì)算平臺(tái)SPARK19-21
• 2.1.1 流式計(jì)算技術(shù)19-20
• 2.1.2 內(nèi)存計(jì)算技術(shù)20
• 2.1.3 SPARK計(jì)算平臺(tái)20-21
• 2.2 視頻分析技術(shù)OpenCV21-22
• 2.3 需求分析22-29
• 2.3.1 高清監(jiān)控流智能分析的計(jì)算能力需求22-25
• 2.3.2 大規(guī)模監(jiān)控視頻數(shù)據(jù)匯聚導(dǎo)入問(wèn)題25-27
• 2.3.3 分析平臺(tái)的可擴(kuò)展性需求27-29
• 第三章 系統(tǒng)關(guān)鍵技術(shù)研究29-57
• 3.1 大規(guī)模監(jiān)控視頻分析的關(guān)鍵技術(shù)分析29-31
• 3.2 大規(guī)模監(jiān)控視頻流匯聚研究31-42
• 3.2.1 研究目標(biāo)31-32
• 3.2.2 默認(rèn)接收器位置分配方式的缺陷32-34
• 3.2.3 基于計(jì)算能力感知的接收器位置分配規(guī)則34-42
• 3.3 大規(guī)模監(jiān)控視頻流分析負(fù)載均衡研究42-51
• 3.3.1 研究目標(biāo)42
• 3.3.2 分布式內(nèi)存抽象技術(shù)42-45
• 3.3.3 基于數(shù)據(jù)本地性的實(shí)時(shí)任務(wù)調(diào)度機(jī)制45-51
• 3.4 大規(guī)模監(jiān)控視頻分析的可擴(kuò)展性研究51-57
• 3.4.1 研究目標(biāo)51-52
• 3.4.2 自適應(yīng)的任務(wù)計(jì)算策略52-56
• 3.4.3 動(dòng)態(tài)增加計(jì)算性能56-57
• 第四章 實(shí)驗(yàn)測(cè)試與分析57-70
• 4.1 系統(tǒng)設(shè)計(jì)57-60
• 4.1.1 總體框架57-59
• 4.1.2 硬件平臺(tái)59
• 4.1.3 軟件堆棧59-60
• 4.2 實(shí)驗(yàn)環(huán)境60-62
• 4.2.1 硬件環(huán)境60
• 4.2.2 軟件環(huán)境60-62
• 4.3 實(shí)驗(yàn)結(jié)果與分析62-70
• 4.3.1 基于計(jì)算能力感知的接收器位置分配規(guī)則評(píng)估63-66
• 4.3.2 基于數(shù)據(jù)塊本地性的任務(wù)調(diào)度評(píng)估66-68
• 4.3.3 可擴(kuò)展性的研究評(píng)估68-70
• 第五章 結(jié)論與展望70-72
• 5.1 結(jié)論70-71
• 5.2 展望71-72
• 參考文獻(xiàn)72-75
• 作者在攻讀碩士學(xué)位期間公開發(fā)表的論文75-76
• 作者在攻讀碩士學(xué)位期間所作的項(xiàng)目76-77
• 致謝77

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前2條

1 耿晨曜;姚丹亞;張盈盈;張煦;常剛;;基于Map Reduce的分布式視頻處理平臺(tái)[J];計(jì)算機(jī)工程;2012年10期

2 孟小峰;慈祥;;大數(shù)據(jù)管理:概念、技術(shù)與挑戰(zhàn)[J];計(jì)算機(jī)研究與發(fā)展;2013年01期

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前1條

1 顧昕;分布式流式計(jì)算框架關(guān)鍵技術(shù)的研究與實(shí)現(xiàn)[D];北京郵電大學(xué);2012年

  本文關(guān)鍵詞：基于流式計(jì)算的大規(guī)模監(jiān)控視頻分析關(guān)鍵技術(shù)研究，，由筆耕文化傳播整理發(fā)布。

本文編號(hào)：319262