本文關(guān)鍵詞：分布式視頻流存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

  更多相關(guān)文章： 視頻監(jiān)控 分布式存儲(chǔ) 糾刪碼 磁盤I/O

【摘要】：視頻監(jiān)控系統(tǒng)的廣泛應(yīng)用,為城市的公共安全和發(fā)展提供了技術(shù)保障。近年來,隨著“平安城市”等大規(guī)模視頻監(jiān)控系統(tǒng)的廣泛部署,如何有效和可靠地存儲(chǔ)視頻數(shù)據(jù)成為系統(tǒng)中急需解決的問題。傳統(tǒng)的視頻監(jiān)控系統(tǒng)通常采用集中式存儲(chǔ)的架構(gòu),多臺(tái)攝像機(jī)連接專用設(shè)備進(jìn)行數(shù)據(jù)存儲(chǔ)。在海量監(jiān)控點(diǎn)和高清視頻數(shù)據(jù)的場(chǎng)景下,傳統(tǒng)的存儲(chǔ)系統(tǒng)面臨著性能、存儲(chǔ)容量、數(shù)據(jù)可靠性和系統(tǒng)可擴(kuò)展性的問題。因此,采用分布式存儲(chǔ)系統(tǒng)作為視頻監(jiān)控的數(shù)據(jù)存儲(chǔ)解決方案,成為了近年來的發(fā)展趨勢(shì)。論文作者及所在團(tuán)隊(duì)通過對(duì)課題相關(guān)的分布式存儲(chǔ)和文件系統(tǒng)原理、存儲(chǔ)編碼理論以及相關(guān)技術(shù)的學(xué)習(xí)和研究,設(shè)計(jì)并實(shí)現(xiàn)了一套分布式視頻流存儲(chǔ)系統(tǒng)。論文主要內(nèi)容集中在作者在該系統(tǒng)中承擔(dān)系統(tǒng)的設(shè)計(jì)、存儲(chǔ)子系統(tǒng)實(shí)現(xiàn)和測(cè)試工作。作者設(shè)計(jì)了一套基于糾刪碼的數(shù)據(jù)存儲(chǔ)框架,將視頻流存儲(chǔ)系統(tǒng)中的多副本機(jī)制替換為糾刪碼機(jī)制,通過多節(jié)點(diǎn)的數(shù)據(jù)放置策略,將編碼后的數(shù)據(jù)進(jìn)行分布式存儲(chǔ),提供了磁盤以及節(jié)點(diǎn)失效的容錯(cuò)性,并降低了存儲(chǔ)空間的開銷。與此同時(shí),設(shè)計(jì)了一套存儲(chǔ)節(jié)點(diǎn)調(diào)度機(jī)制,在滿足寫入性能和故障容忍的前提下,盡可能使最少的節(jié)點(diǎn)和磁盤處于工作狀態(tài),降低能耗。此外,通過數(shù)據(jù)緩沖策略和多路并發(fā)視頻流調(diào)制機(jī)制,將磁盤的隨機(jī)寫入轉(zhuǎn)換成連續(xù)寫入,提高I/O吞吐率的同時(shí)減少磁盤損耗,使得單臺(tái)節(jié)點(diǎn)能夠支持更多數(shù)量的視頻流存儲(chǔ)。有效的元數(shù)據(jù)管理機(jī)制使得集群中的元數(shù)據(jù)管理可以在單個(gè)節(jié)點(diǎn)內(nèi)完成,從而提供了良好的可擴(kuò)展性,存儲(chǔ)系統(tǒng)可以通過增加和刪除存儲(chǔ)節(jié)點(diǎn)的方式靈活的伸縮。最后,論文作者對(duì)該存儲(chǔ)系統(tǒng)進(jìn)行了功能測(cè)試和性能測(cè)試。功能測(cè)試結(jié)果表明,該系統(tǒng)能夠滿足視頻流數(shù)據(jù)存儲(chǔ)的需求,提供數(shù)據(jù)的存儲(chǔ)、讀取和容錯(cuò)。作者通過對(duì)性能測(cè)試的結(jié)果進(jìn)行分析,認(rèn)為該存儲(chǔ)系統(tǒng)的吞吐率,存儲(chǔ)空間效率等基本可以滿足需求,并提出了部分可能的改進(jìn)方案。
【關(guān)鍵詞】：視頻監(jiān)控 分布式存儲(chǔ) 糾刪碼 磁盤I/O
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP333
【目錄】：

• 摘要5-6
• ABSTRACT6-11
• 第一章 引言11-16
• 1.1 選題背景和研究意義11-12
• 1.2 國(guó)內(nèi)外研究現(xiàn)狀和發(fā)展態(tài)勢(shì)12-14
• 1.3 工作內(nèi)容及特色14-15
• 1.4 各章內(nèi)容介紹15-16
• 第二章 理論基礎(chǔ)與相關(guān)技術(shù)16-26
• 2.1 糾刪碼16-21
• 2.1.1 糾刪碼技術(shù)概述16
• 2.1.2 糾刪碼原理16-18
• 2.1.3 Reed-Solomon編碼18-19
• 2.1.4 Cauchy RS編碼19-21
• 2.2 分布式存儲(chǔ)系統(tǒng)21-25
• 2.2.1 分布式存儲(chǔ)系統(tǒng)概述21
• 2.2.2 元數(shù)據(jù)管理模型21-22
• 2.2.3 數(shù)據(jù)可靠性22-25
• 2.3 本章小結(jié)25-26
• 第三章 系統(tǒng)總體設(shè)計(jì)26-38
• 3.1 系統(tǒng)功能及需求26-27
• 3.2 系統(tǒng)架構(gòu)及功能模塊27
• 3.3 數(shù)據(jù)容錯(cuò)方案27-30
• 3.3.1 分組存儲(chǔ)策略28-29
• 3.3.2 數(shù)據(jù)讀取和恢復(fù)29-30
• 3.4 系統(tǒng)典型功能流程30-33
• 3.4.1 初始化流程30-31
• 3.4.2 數(shù)據(jù)存儲(chǔ)流程31
• 3.4.3 數(shù)據(jù)讀取流程31-32
• 3.4.4 數(shù)據(jù)恢復(fù)流程32-33
• 3.5 系統(tǒng)關(guān)鍵技術(shù)33-37
• 3.5.1 調(diào)度策略33-34
• 3.5.2 內(nèi)存多副本技術(shù)34-35
• 3.5.3 雙機(jī)熱備技術(shù)35-37
• 3.6 本章小結(jié)37-38
• 第四章 數(shù)據(jù)存儲(chǔ)服務(wù)器的設(shè)計(jì)38-56
• 4.1 數(shù)據(jù)存儲(chǔ)服務(wù)器概述38
• 4.2 視頻流數(shù)據(jù)存儲(chǔ)模型38-40
• 4.3 并發(fā)視頻流調(diào)制40-41
• 4.4 數(shù)據(jù)寫入調(diào)度策略41-42
• 4.5 緩沖區(qū)管理42-43
• 4.6 糾刪碼策略43-44
• 4.7 元數(shù)據(jù)管理44-47
• 4.7.1 元數(shù)據(jù)組織形式44-46
• 4.7.2 元數(shù)據(jù)的持久化46
• 4.7.3 元數(shù)據(jù)周期管理46-47
• 4.8 網(wǎng)絡(luò)通信框架設(shè)計(jì)47-50
• 4.8.1 通信報(bào)文格式47-48
• 4.8.2 網(wǎng)絡(luò)通信組件設(shè)計(jì)48-50
• 4.9 DS框架設(shè)計(jì)50-53
• 4.10 交互協(xié)議設(shè)計(jì)53-54
• 4.10.1 DS與MS交互協(xié)議53-54
• 4.10.2 DS與DS交互協(xié)議54
• 4.10.3 DS與客戶端交互協(xié)議54
• 4.11 本章小結(jié)54-56
• 第五章 數(shù)據(jù)存儲(chǔ)服務(wù)器的實(shí)現(xiàn)56-71
• 5.1 網(wǎng)絡(luò)通信組件的實(shí)現(xiàn)56-58
• 5.2 線程池組件的實(shí)現(xiàn)58-61
• 5.3 DS主要功能模塊的實(shí)現(xiàn)61-67
• 5.3.1 緩沖區(qū)管理模塊的實(shí)現(xiàn)61-62
• 5.3.2 糾刪碼模塊的實(shí)現(xiàn)62-63
• 5.3.3 元數(shù)據(jù)管理模塊的實(shí)現(xiàn)63-64
• 5.3.4 MS業(yè)務(wù)模塊的實(shí)現(xiàn)64-66
• 5.3.5 DS業(yè)務(wù)模塊的實(shí)現(xiàn)66-67
• 5.4 DS關(guān)鍵流程67-70
• 5.4.1 DS初始化流程67
• 5.4.2 接收存儲(chǔ)任務(wù)流程67-68
• 5.4.3 數(shù)據(jù)編碼流程68-69
• 5.4.4 數(shù)據(jù)存儲(chǔ)流程69-70
• 5.5 本章小結(jié)70-71
• 第六章 系統(tǒng)測(cè)試與結(jié)果分析71-78
• 6.1 測(cè)試環(huán)境71-72
• 6.2 功能測(cè)試72-74
• 6.2.1 數(shù)據(jù)寫入功能測(cè)試72-73
• 6.2.2 數(shù)據(jù)恢復(fù)功能測(cè)試73-74
• 6.3 性能測(cè)試74-77
• 6.3.1 單分區(qū)性能測(cè)試74-75
• 6.3.2 系統(tǒng)整體性能測(cè)試75-77
• 6.4 本章小結(jié)77-78
• 第七章 總結(jié)與展望78-80
• 致謝80-81
• 參考文獻(xiàn)81-83
• 碩士期間科研成果83-84

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫 前4條

1 張慶華;;云存儲(chǔ)技術(shù)在視頻監(jiān)控中的發(fā)展與應(yīng)用[J];中國(guó)安防;2014年05期

2 吳映霞;;高清網(wǎng)絡(luò)攝像機(jī)的發(fā)展應(yīng)用與技術(shù)趨勢(shì)[J];中國(guó)安防;2013年07期

3 羅象宏;舒繼武;;存儲(chǔ)系統(tǒng)中的糾刪碼研究綜述[J];計(jì)算機(jī)研究與發(fā)展;2012年01期

4 段翰聰,盧顯良,宋杰;基于EPOLL的單進(jìn)程事件驅(qū)動(dòng)通信服務(wù)器設(shè)計(jì)與分析[J];計(jì)算機(jī)應(yīng)用;2004年10期

中國(guó)博士學(xué)位論文全文數(shù)據(jù)庫 前1條

1 朱云鋒;分布式存儲(chǔ)系統(tǒng)中基于糾刪碼的容錯(cuò)技術(shù)研究[D];中國(guó)科學(xué)技術(shù)大學(xué);2014年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫 前2條

1 郭暉;面向高清視頻監(jiān)控的流存儲(chǔ)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

2 唐海浪;分布式存儲(chǔ)系統(tǒng)的可靠性研究[D];上海交通大學(xué);2009年

，

本文編號(hào)：858284