當(dāng)今,視頻監(jiān)控系統(tǒng)越來(lái)越多地應(yīng)用于日常生活中,它帶來(lái)便捷的同時(shí),也引出了海量視頻流數(shù)據(jù)的存儲(chǔ)需求。分布式存儲(chǔ)系統(tǒng)能夠很好的滿(mǎn)足這一需求,而且由于故障發(fā)生的可能性,容錯(cuò)必須體現(xiàn)在系統(tǒng)的設(shè)計(jì)中。對(duì)比國(guó)內(nèi)外典型的分布式存儲(chǔ)系統(tǒng)架構(gòu),不難發(fā)現(xiàn)系統(tǒng)可用性、數(shù)據(jù)可靠性與一致性、系統(tǒng)高效性,往往是此類(lèi)系統(tǒng)所要解決的問(wèn)題。因此,本文以此為背景,通過(guò)相關(guān)知識(shí)點(diǎn)與理論的學(xué)習(xí),設(shè)計(jì)并開(kāi)發(fā)出了分布式視頻流存儲(chǔ)容錯(cuò)系統(tǒng),其特點(diǎn)主要有:1.應(yīng)用RS糾刪碼;系統(tǒng)在整個(gè)存儲(chǔ)空間扁平化的基礎(chǔ)上,提出了數(shù)據(jù)塊與卷的語(yǔ)義,將流式存儲(chǔ)轉(zhuǎn)換為塊式存儲(chǔ),并通過(guò)具體的糾刪碼方案決定數(shù)據(jù)塊的放置方式,從而使得數(shù)據(jù)的糾刪碼容錯(cuò)得以實(shí)現(xiàn)。2.提出混合冗余容錯(cuò)策略;系統(tǒng)將被頻繁訪問(wèn)的元數(shù)據(jù)視為“熱”數(shù)據(jù),采用副本形式存儲(chǔ);將視頻流數(shù)據(jù)視為“冷”數(shù)據(jù),采用糾刪碼方式存儲(chǔ)。從而在加速元數(shù)據(jù)訪問(wèn)的同時(shí),提高了存儲(chǔ)空間的利用率。3.采用時(shí)間戳對(duì)比機(jī)制;不僅保證了系統(tǒng)各個(gè)模塊間數(shù)據(jù)操作的一致性,由于對(duì)訪問(wèn)數(shù)據(jù)量與次數(shù)的減少,因而避免了單點(diǎn)效應(yīng)。4.實(shí)行基于最終一致性的操作方案;系統(tǒng)將多步驟指令視為事務(wù),以非阻塞式方式執(zhí)行指令隊(duì)列,使得系統(tǒng)可用性與一... 

【文章來(lái)源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：92 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

RS編碼過(guò)程

圖 2-3 RS 解碼過(guò)程其中生成矩陣的構(gòu)造要求是，必須保證任意未出錯(cuò)信息所對(duì)應(yīng)的殘余生成都可以在 GF 域上可逆，通常采用范德蒙矩陣和柯西矩陣來(lái)進(jìn)行求解。2.3.3 陣列碼陣列碼就是在一個(gè)二維或者多維的陣列中存儲(chǔ)原始數(shù)據(jù)和冗余，與 RS 編碼，它完全基于異或運(yùn)算，因此，它便于實(shí)現(xiàn)，編碼與解碼過(guò)程也會(huì)比較簡(jiǎn)單。條塊中數(shù)據(jù)與冗余是否獨(dú)立而分為橫式陣列碼和縱式陣列碼。陣列糾刪碼只于 RAID 技術(shù)中，它的存儲(chǔ)效率、編譯碼復(fù)雜度以及更新復(fù)雜度就會(huì)達(dá)到最優(yōu)不能滿(mǎn)足多點(diǎn)糾錯(cuò)的需求；同時(shí)，陣列碼的可靠性幾乎不可配置，冗余數(shù)據(jù)塊為 2~3 塊。2.3.4 低密度奇偶校驗(yàn)（LDPC）類(lèi)LDPC 類(lèi)糾刪碼也是完全基于異或運(yùn)算的編碼，它雖然不是 MDS 編碼，但

圖 6-2API 單路流寫(xiě)入結(jié)果圖由上圖可以看出視頻流寫(xiě)入速度大約為 800KB/s，一段時(shí)間后 API 收到應(yīng)層整合的數(shù)據(jù)塊，并將數(shù)據(jù)塊進(jìn)行分片發(fā)出，且 API 將數(shù)據(jù)塊進(jìn)行切片后發(fā)送去的速度大約為 5360KB/s。API 發(fā)送數(shù)據(jù)的速度之所以沒(méi)有跑滿(mǎn)網(wǎng)卡是受到 Ep事件處理機(jī)制的影響。通過(guò)日志文件，查看 API 進(jìn)行數(shù)據(jù)編碼的情況，部分結(jié)果如圖 6-3 所示：圖 6-3API 單路流編碼結(jié)果圖由上圖可以看出 API 進(jìn)行一次數(shù)據(jù)編碼所用時(shí)間大概為 98ms，大概每隔 5就會(huì)進(jìn)行一次數(shù)據(jù)編碼，該值1T 的理論計(jì)算方式為：

【參考文獻(xiàn)】：
期刊論文
[1]大數(shù)據(jù)存儲(chǔ)中的容錯(cuò)關(guān)鍵技術(shù)綜述[J]. 宮婧,王文君.  南京郵電大學(xué)學(xué)報(bào)(自然科學(xué)版). 2014(04)
[2]面向大數(shù)據(jù)分析的分布式文件系統(tǒng)關(guān)鍵技術(shù)[J]. 周江,王偉平,孟丹,馬燦,古曉艷,蔣杰.  計(jì)算機(jī)研究與發(fā)展. 2014(02)
[3]分布系統(tǒng)設(shè)計(jì)的CAP理論[J]. 陳明.  計(jì)算機(jī)教育. 2013(15)
[4]MooseFS中chunkserver負(fù)載均衡算法研究[J]. 艾云霄,譚躍生,王靜宇.  微型機(jī)與應(yīng)用. 2013(05)
[5]分布式存儲(chǔ)系統(tǒng)中數(shù)據(jù)副本管理機(jī)制[J]. 徐小龍,鄒勤文,楊庚.  計(jì)算機(jī)技術(shù)與發(fā)展. 2013(02)
[6]糾刪碼在分布式容錯(cuò)存儲(chǔ)中的應(yīng)用[J]. 許東旭.  計(jì)算機(jī)光盤(pán)軟件與應(yīng)用. 2013(03)
[7]基于糾刪碼和動(dòng)態(tài)副本策略的HDFS改進(jìn)系統(tǒng)[J]. 李曉愷,代翔,李文杰,崔喆.  計(jì)算機(jī)應(yīng)用. 2012(08)
[8]高可用的HDFS架構(gòu)剖析[J]. 代志遠(yuǎn).  程序員. 2012 (07)
[9]網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)的發(fā)展與應(yīng)用[J]. 李曉飛.  數(shù)據(jù)通信. 2010(02)
[10]分布式存儲(chǔ)方案的設(shè)計(jì)與研究[J]. 胡文波,徐造林.  計(jì)算機(jī)技術(shù)與發(fā)展. 2010(04)

博士論文
[1]分布式系統(tǒng)中容錯(cuò)機(jī)制性能優(yōu)化技術(shù)研究[D]. 李磊.國(guó)防科學(xué)技術(shù)大學(xué) 2007
[2]大規(guī)模分布式存儲(chǔ)技術(shù)研究[D]. 魏青松.電子科技大學(xué) 2004

碩士論文
[1]Ceph存儲(chǔ)系統(tǒng)糾刪碼覆蓋寫(xiě)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 瞿天善.南京大學(xué) 2016
[2]基于NoSQL的大數(shù)據(jù)處理的研究[D]. 李青.西安電子科技大學(xué) 2014
[3]分布式系統(tǒng)后向恢復(fù)容錯(cuò)技術(shù)研究[D]. 劉翠英.山東大學(xué) 2011
[4]分布式連續(xù)數(shù)據(jù)保護(hù)方案[D]. 陳金蓮.中國(guó)地質(zhì)大學(xué)（北京） 2008



本文編號(hào)：3093429