發(fā)布時間：2021-06-09 18:26

　　隨著視頻監(jiān)控技術(shù)的發(fā)展,各種監(jiān)控設(shè)備已經(jīng)遍布大街小巷。視頻監(jiān)控技術(shù)極大地方便了我們的生活,但海量監(jiān)控數(shù)據(jù)的存儲也給相關(guān)基礎(chǔ)設(shè)施帶來了嚴(yán)峻的挑戰(zhàn)。分布式存儲系統(tǒng)能夠很好的滿足這一需求,對比國內(nèi)外典型的分布式存儲系統(tǒng)架構(gòu),不難發(fā)現(xiàn)元數(shù)據(jù)服務(wù)器高可用性與元數(shù)據(jù)可靠性往往是此類系統(tǒng)所要解決的難點。本文以監(jiān)控視頻流存儲為背景,圍繞海量流數(shù)據(jù)存儲系統(tǒng)的元數(shù)據(jù)服務(wù)器,關(guān)注元數(shù)據(jù)高可靠性和元數(shù)據(jù)服務(wù)器高可用性方面的研究。主要工作如下:1.基于VBSM塊設(shè)備的高可靠元數(shù)據(jù)管理模型。通過VBSM塊設(shè)備,將元數(shù)據(jù)服務(wù)器與元數(shù)據(jù)的持久化存儲分離。使用VBSM塊設(shè)備作為元數(shù)據(jù)的持久化存儲載體,底層分布式集群對塊設(shè)備內(nèi)元數(shù)據(jù)提供多副本容錯;元數(shù)據(jù)服務(wù)器程序負(fù)責(zé)保證內(nèi)存中元數(shù)據(jù)的正確性,并通過定時刷新與立即刷新相結(jié)合的方式將內(nèi)存中元數(shù)據(jù)持久化至塊設(shè)備內(nèi)。相比于傳統(tǒng)存儲系統(tǒng)使用本機(jī)磁盤或者數(shù)據(jù)庫作為元數(shù)據(jù)的存儲,可以極大地提高元數(shù)據(jù)的可靠性;2.多策略雙機(jī)熱備方法。首先通過快/慢結(jié)合的心跳機(jī)制,完成主備協(xié)商,狀態(tài)監(jiān)測以及服務(wù)器模式的切換;另外借助與數(shù)據(jù)庫的時間同步機(jī)制實現(xiàn)對運行狀態(tài)的第二重心跳檢測,避免腦裂問題;3.... 

【文章來源】：電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：89 頁

【學(xué)位級別】：碩士

【部分圖文】：

HDFS1.0架構(gòu)圖

電子科技大學(xué)碩士學(xué)位論文8ls的功能；2）文件的組成信息：文件與數(shù)據(jù)塊的映射關(guān)系；3）數(shù)據(jù)塊副本的位置信息：數(shù)據(jù)塊副本與DataNode節(jié)點的映射關(guān)系，一個數(shù)據(jù)塊的多個副本分布在不同的存儲節(jié)點上[4]。這些數(shù)據(jù)保存在內(nèi)存中，同時在NameNode本機(jī)磁盤中保存兩個備用管理文件：文件系統(tǒng)鏡像和操作日志。NameNode啟動時，首先要將系統(tǒng)鏡像文件和操作日志文件從磁盤加載至內(nèi)存，這兩個文件相結(jié)合可以構(gòu)造出系統(tǒng)完整的元數(shù)據(jù)�？蛻舳说腎O請求到達(dá)時，NameNode首先更新操作日志，然后進(jìn)行實際的IO工作。NameNode定期會把內(nèi)存中最新的操作日志與文件系統(tǒng)合并，生成新的鏡像文件。從元數(shù)據(jù)可靠性的角度來說，HDFS1.0中使用本機(jī)磁盤進(jìn)行元數(shù)據(jù)持久化的元數(shù)據(jù)管理方式，會導(dǎo)致元數(shù)據(jù)的可靠性較差，一旦NameNode節(jié)點磁盤損壞，元數(shù)據(jù)無法訪問，整個系統(tǒng)將變得不可用。此外，從元數(shù)據(jù)服務(wù)器高可用的角度來看，NameNode存在明顯的單點故障問題，一旦NameNode程序故障，系統(tǒng)所有服務(wù)也會因此而終止。2.1.1.2元數(shù)據(jù)服務(wù)器高可用機(jī)制圖2-2HDFS2.0架構(gòu)圖圖2-2所示為HDFS2.0架構(gòu)圖，為解決HDFS1.0中NameNode的單點故障問題，HDFS2.0中引入了關(guān)于NameNode的HA機(jī)制。HA機(jī)制內(nèi)包含兩個NameNode，分為Active和Standby兩種狀態(tài)。兩個NameNode一主一備同時運行，ActiveNameNode可以對外提供服務(wù)，響應(yīng)客戶端的IO請求，StandbyNameNode為服務(wù)靜默狀態(tài)，不能對客戶端提供服務(wù)。ActiveNameNode和StandbyNameNode使用

第二章理論基礎(chǔ)及相關(guān)技術(shù)9NFS（網(wǎng)絡(luò)文件系統(tǒng)）作為二者之間的共享存儲空間，完成數(shù)據(jù)同步。ActiveNameNode在運行的過程中，會把每個操作記錄寫到本機(jī)的操作日志文件中，并傳輸?shù)骄W(wǎng)絡(luò)文件系統(tǒng)中。StandbyNameNode定期從網(wǎng)絡(luò)文件系統(tǒng)中獲取最近的操作日志，然后用操作日志和本機(jī)的文件系統(tǒng)鏡像合并出一個最新的文件系統(tǒng)鏡像，合并完成后使用最新文件系統(tǒng)鏡像替換網(wǎng)絡(luò)文件系統(tǒng)中的舊版文件系統(tǒng)鏡像，并通知ActiveNameNode從網(wǎng)絡(luò)文件系統(tǒng)中獲取最新版鏡像文件。采用這種方式，StandbyNameNode可以同步到ActiveNameNode內(nèi)最新的元數(shù)據(jù)，當(dāng)ActiveNameNode出現(xiàn)故障意外宕機(jī)時，StandbyNameNode便可迅速切換狀態(tài)至Active，成為新的ActiveNameNode，解決NameNode單點故障，保證HDFS實時平穩(wěn)運行。ActiveNameNode和StandbyNameNode使用ZooKeeper集群完成主備切換。2.1.2Ceph圖2-3Ceph系統(tǒng)的層次結(jié)構(gòu)Ceph存儲系統(tǒng)集對象、塊和文件三種語義于一身，可以滿足不同應(yīng)用的存儲需求。此外，Ceph是真正的無中心結(jié)構(gòu)，理論上沒有擴(kuò)展上限[5]。圖2-3所示為Ceph存儲系統(tǒng)的層次結(jié)構(gòu)。RADOS[6]是一個分布式對象存儲系統(tǒng),作為Ceph系統(tǒng)中的基礎(chǔ)存儲層，負(fù)責(zé)系統(tǒng)中用戶數(shù)據(jù)的實際存儲工作。如圖2-4所示，RADOS系統(tǒng)由Monitor節(jié)點，OSDs節(jié)點和Client程序三部分組成。Monitor，接受OSD的狀態(tài)信息上報，維護(hù)整個系統(tǒng)的狀態(tài)拓?fù)鋱D。OSD（ObjectStorageDevice），物理存儲的daemon進(jìn)程，負(fù)責(zé)數(shù)據(jù)存儲和維護(hù)，并與Monitor通信。Client，是Ceph提供給上層應(yīng)用的訪問接口。本小節(jié)主要對RADOS系統(tǒng)內(nèi)元數(shù)據(jù)管理方案和元數(shù)據(jù)服務(wù)器高可用技術(shù)進(jìn)行介紹和分析。

【參考文獻(xiàn)】：
期刊論文
[1]一種多策略雙機(jī)熱備方法[J]. 羅貴舟,王錦杰,楊旭斌,蔣蘭蘭,鞏遠(yuǎn)航.  計算機(jī)測量與控制. 2019(03)
[2]面向海量高清視頻數(shù)據(jù)的高性能分布式存儲系統(tǒng)[J]. 操順德,華宇,馮丹,孫園園,左鵬飛.  軟件學(xué)報. 2017(08)
[3]視頻監(jiān)控存儲系統(tǒng)的設(shè)計與實現(xiàn)[J]. 江冕,牛中盈,張淑萍.  計算機(jī)工程與設(shè)計. 2014(12)
[4]Namenode單點故障解決方案研究[J]. 鄧鵬,李枚毅,何誠.  計算機(jī)工程. 2012(21)
[5]基于EPOLL的單進(jìn)程事件驅(qū)動通信服務(wù)器設(shè)計與分析[J]. 段翰聰,盧顯良,宋杰.  計算機(jī)應(yīng)用. 2004(10)



本文編號：3221094