分布式虛擬塊存儲系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
發(fā)布時間:2021-10-20 08:17
為了應(yīng)對不同業(yè)務(wù)場景,本文設(shè)計(jì)了一個既可以適配上層不同類型業(yè)務(wù),也可以適配下層不同物理設(shè)備,且有一定高可用性保證的分布式虛擬塊存儲系統(tǒng)。對于該系統(tǒng),上層可以是大塊文件,比如流文件系統(tǒng),其中存儲的是視頻流文件。也可以是小文件,例如小文件系統(tǒng),其中存儲的是圖片。那么當(dāng)上層系統(tǒng)發(fā)出請求時,本系統(tǒng)將適配上層的不同業(yè)務(wù)需求,通過相應(yīng)的策略,匹配適合該上層業(yè)務(wù)的下層分布式系統(tǒng)。針對以上場景,本論文的研究核心是根據(jù)現(xiàn)有的分布式理論和知識,設(shè)計(jì)并實(shí)現(xiàn)一個分布式虛擬塊存儲系統(tǒng),主要研究內(nèi)容如下:1.為上層不同文件系統(tǒng)提供塊語義的接口。2.通過塊設(shè)備的抽象使得層的設(shè)備所使用的空間可以進(jìn)行的擴(kuò)展和收縮。使系統(tǒng)具有更強(qiáng)的靈活性。3.對于選舉集群,保障其高可用性。首先,本文將選舉集群作為一個單獨(dú)的模塊,可以達(dá)到解耦的作用。在選舉集群中,當(dāng)Leader節(jié)點(diǎn)發(fā)生故障宕機(jī)時,能及時地通過選舉由集群中的其他節(jié)點(diǎn)頂替,因?yàn)槠渌?jié)點(diǎn)中存儲著對Leader中數(shù)據(jù)的備份,可以保障選舉集群存儲的數(shù)據(jù)不丟失,且整個選舉模塊保證一致性。4.對于元數(shù)據(jù)服務(wù)器集群,保障其負(fù)載均衡。在選舉服務(wù)器集群的Leader服務(wù)器中,通過一致性哈希決...
【文章來源】:電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:81 頁
【學(xué)位級別】:碩士
【部分圖文】:
創(chuàng)建塊設(shè)備返回結(jié)果
第五章系統(tǒng)測試與分析655.2功能測試5.2.1塊設(shè)備操作測試5.2.1.1創(chuàng)建塊設(shè)備首先測試系統(tǒng)的創(chuàng)建塊設(shè)備功能,在客戶端調(diào)用創(chuàng)建設(shè)備函數(shù)后,執(zhí)行結(jié)果如圖5-2所示:圖5-2創(chuàng)建塊設(shè)備返回結(jié)果如圖5-2向系統(tǒng)提出創(chuàng)建設(shè)備請求,其名稱為TEST,大小為1000MB,容錯類型為三副本,存儲類型為disk。元數(shù)據(jù)服務(wù)器通過4.5.1所描述的流程向資源池申請,成功后向客戶端返回操作成功,在系統(tǒng)中創(chuàng)建了一個塊設(shè)備ID為20,名稱為TEST,大小為1000MB的塊設(shè)備。5.2.1.2刪除塊設(shè)備測試系統(tǒng)的刪除塊設(shè)備功能,在客戶端調(diào)用刪除設(shè)備的函數(shù),并提供設(shè)備名稱,也就是客戶端向系統(tǒng)發(fā)出刪除塊設(shè)備請求,執(zhí)行結(jié)果如圖5-3所示:圖5-3刪除塊設(shè)備返回結(jié)果如圖5-3所示,客戶端請求刪除設(shè)備名為TEST的塊設(shè)備,MetaServer向客戶端返回成功結(jié)果,系統(tǒng)將之前創(chuàng)建的TEST塊設(shè)備刪除。
電子科技大學(xué)碩士學(xué)位論文665.2.1.3擴(kuò)展塊設(shè)備由于剛才把創(chuàng)建的名為TEST塊設(shè)備刪除,我們重新創(chuàng)建一個與剛才刪除的卷相同信息的卷,其名稱為TEST,大小為1000MB。接著,我們對這個設(shè)備進(jìn)行擴(kuò)容,調(diào)用擴(kuò)容函數(shù),得到的結(jié)果如圖5-4所示:圖5-4擴(kuò)展塊設(shè)備返回結(jié)果如圖5-4所示,客戶端請求擴(kuò)容塊設(shè)備TEST,擴(kuò)容大小為100MB,返回結(jié)果擴(kuò)容成功,并且指示當(dāng)前名為TEST的塊設(shè)備大小為1100MB,即之前創(chuàng)建塊設(shè)備時申請的1000MB以及擴(kuò)容100MB后一共達(dá)到1100MB。5.2.2選舉模塊測試5.2.2.1初始化階段的選舉流程測試在初始化階段,所有的節(jié)點(diǎn)狀態(tài)為Follower,系統(tǒng)中沒有Leader節(jié)點(diǎn),開始選舉過程,由于Follower節(jié)點(diǎn)的執(zhí)行情況類似,只給出其中一個Follower節(jié)點(diǎn)的選舉過程,以下為選舉過程的執(zhí)行結(jié)果:圖5-5選舉過程中的Node1視圖圖5-6選舉過程中的Node2視圖如圖5-5所示,初始化后,所有節(jié)點(diǎn)的狀態(tài)默認(rèn)設(shè)置為Follower,直接進(jìn)入選舉狀態(tài),Node1節(jié)點(diǎn)的默認(rèn)定時器超時,因此將自己的狀態(tài)置為Candidate。此時它向其他報(bào)文發(fā)送投票請求,接著,Node1節(jié)點(diǎn)收到所有其他的節(jié)點(diǎn)的投票,
【參考文獻(xiàn)】:
期刊論文
[1]分布系統(tǒng)設(shè)計(jì)的CAP理論[J]. 陳明. 計(jì)算機(jī)教育. 2013(15)
[2]Namenode單點(diǎn)故障解決方案研究[J]. 鄧鵬,李枚毅,何誠. 計(jì)算機(jī)工程. 2012(21)
[3]分布式存儲系統(tǒng)中一致性哈希算法的研究[J]. 楊彧劍,林波. 電腦知識與技術(shù). 2011(22)
[4]基于EPOLL的單進(jìn)程事件驅(qū)動通信服務(wù)器設(shè)計(jì)與分析[J]. 段翰聰,盧顯良,宋杰. 計(jì)算機(jī)應(yīng)用. 2004(10)
博士論文
[1]大規(guī)模分布式存儲技術(shù)研究[D]. 魏青松.電子科技大學(xué) 2004
本文編號:3446568
【文章來源】:電子科技大學(xué)四川省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:81 頁
【學(xué)位級別】:碩士
【部分圖文】:
創(chuàng)建塊設(shè)備返回結(jié)果
第五章系統(tǒng)測試與分析655.2功能測試5.2.1塊設(shè)備操作測試5.2.1.1創(chuàng)建塊設(shè)備首先測試系統(tǒng)的創(chuàng)建塊設(shè)備功能,在客戶端調(diào)用創(chuàng)建設(shè)備函數(shù)后,執(zhí)行結(jié)果如圖5-2所示:圖5-2創(chuàng)建塊設(shè)備返回結(jié)果如圖5-2向系統(tǒng)提出創(chuàng)建設(shè)備請求,其名稱為TEST,大小為1000MB,容錯類型為三副本,存儲類型為disk。元數(shù)據(jù)服務(wù)器通過4.5.1所描述的流程向資源池申請,成功后向客戶端返回操作成功,在系統(tǒng)中創(chuàng)建了一個塊設(shè)備ID為20,名稱為TEST,大小為1000MB的塊設(shè)備。5.2.1.2刪除塊設(shè)備測試系統(tǒng)的刪除塊設(shè)備功能,在客戶端調(diào)用刪除設(shè)備的函數(shù),并提供設(shè)備名稱,也就是客戶端向系統(tǒng)發(fā)出刪除塊設(shè)備請求,執(zhí)行結(jié)果如圖5-3所示:圖5-3刪除塊設(shè)備返回結(jié)果如圖5-3所示,客戶端請求刪除設(shè)備名為TEST的塊設(shè)備,MetaServer向客戶端返回成功結(jié)果,系統(tǒng)將之前創(chuàng)建的TEST塊設(shè)備刪除。
電子科技大學(xué)碩士學(xué)位論文665.2.1.3擴(kuò)展塊設(shè)備由于剛才把創(chuàng)建的名為TEST塊設(shè)備刪除,我們重新創(chuàng)建一個與剛才刪除的卷相同信息的卷,其名稱為TEST,大小為1000MB。接著,我們對這個設(shè)備進(jìn)行擴(kuò)容,調(diào)用擴(kuò)容函數(shù),得到的結(jié)果如圖5-4所示:圖5-4擴(kuò)展塊設(shè)備返回結(jié)果如圖5-4所示,客戶端請求擴(kuò)容塊設(shè)備TEST,擴(kuò)容大小為100MB,返回結(jié)果擴(kuò)容成功,并且指示當(dāng)前名為TEST的塊設(shè)備大小為1100MB,即之前創(chuàng)建塊設(shè)備時申請的1000MB以及擴(kuò)容100MB后一共達(dá)到1100MB。5.2.2選舉模塊測試5.2.2.1初始化階段的選舉流程測試在初始化階段,所有的節(jié)點(diǎn)狀態(tài)為Follower,系統(tǒng)中沒有Leader節(jié)點(diǎn),開始選舉過程,由于Follower節(jié)點(diǎn)的執(zhí)行情況類似,只給出其中一個Follower節(jié)點(diǎn)的選舉過程,以下為選舉過程的執(zhí)行結(jié)果:圖5-5選舉過程中的Node1視圖圖5-6選舉過程中的Node2視圖如圖5-5所示,初始化后,所有節(jié)點(diǎn)的狀態(tài)默認(rèn)設(shè)置為Follower,直接進(jìn)入選舉狀態(tài),Node1節(jié)點(diǎn)的默認(rèn)定時器超時,因此將自己的狀態(tài)置為Candidate。此時它向其他報(bào)文發(fā)送投票請求,接著,Node1節(jié)點(diǎn)收到所有其他的節(jié)點(diǎn)的投票,
【參考文獻(xiàn)】:
期刊論文
[1]分布系統(tǒng)設(shè)計(jì)的CAP理論[J]. 陳明. 計(jì)算機(jī)教育. 2013(15)
[2]Namenode單點(diǎn)故障解決方案研究[J]. 鄧鵬,李枚毅,何誠. 計(jì)算機(jī)工程. 2012(21)
[3]分布式存儲系統(tǒng)中一致性哈希算法的研究[J]. 楊彧劍,林波. 電腦知識與技術(shù). 2011(22)
[4]基于EPOLL的單進(jìn)程事件驅(qū)動通信服務(wù)器設(shè)計(jì)與分析[J]. 段翰聰,盧顯良,宋杰. 計(jì)算機(jī)應(yīng)用. 2004(10)
博士論文
[1]大規(guī)模分布式存儲技術(shù)研究[D]. 魏青松.電子科技大學(xué) 2004
本文編號:3446568
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/3446568.html
最近更新
教材專著