基于P2P的廣域存儲(chǔ)系統(tǒng)數(shù)據(jù)持久存儲(chǔ)機(jī)制研究
發(fā)布時(shí)間:2020-08-02 15:16
【摘要】: P2P(Peer-to-Peer)的組織模式因具有很好的擴(kuò)展性、容錯(cuò)性和高性能等特點(diǎn),已經(jīng)成為新一代互聯(lián)網(wǎng)應(yīng)用的重要形式;赑2P的廣域存儲(chǔ)系統(tǒng)一直是研究界所關(guān)注的熱點(diǎn),被認(rèn)為是P2P最具前途的應(yīng)用之一。數(shù)據(jù)的持久性存儲(chǔ)是制約廣域存儲(chǔ)系統(tǒng)發(fā)展的關(guān)鍵,也是其研究的難點(diǎn)問(wèn)題。本文首先概述了當(dāng)前知名的基于P2P的廣域存儲(chǔ)系統(tǒng)及其所使用的持久存儲(chǔ)技術(shù),然后詳細(xì)分析和對(duì)比了數(shù)據(jù)持久存儲(chǔ)技術(shù)中存儲(chǔ)數(shù)據(jù)冗余技術(shù)、存儲(chǔ)數(shù)據(jù)定位技術(shù)、存儲(chǔ)數(shù)據(jù)錯(cuò)誤檢查技術(shù)和存儲(chǔ)數(shù)據(jù)修復(fù)技術(shù)。 針對(duì)基于P2P的廣域存儲(chǔ)系統(tǒng)中數(shù)據(jù)持久性存儲(chǔ)存在的問(wèn)題,本文研究了近年來(lái)基于P2P的廣域存儲(chǔ)系統(tǒng)節(jié)點(diǎn)間Byzantine錯(cuò)誤冗余相關(guān)技術(shù)的成果。概述了系統(tǒng)容錯(cuò)的要求與技術(shù),對(duì)現(xiàn)有Byzantine錯(cuò)誤冗余技術(shù)進(jìn)行了總結(jié)。詳細(xì)分析對(duì)比了目前各種典型Byzantine容錯(cuò)系統(tǒng)的容錯(cuò)方式,探討了基于P2P的廣域存儲(chǔ)系統(tǒng)中Byzantine容錯(cuò)技術(shù)需要改進(jìn)的關(guān)鍵問(wèn)題,并對(duì)未來(lái)的研究方向進(jìn)行了討論。隨后,給出了一個(gè)實(shí)際環(huán)境下基于P2P的廣域存儲(chǔ)系統(tǒng)Byzantine錯(cuò)誤冗余的解決方案框架。 在該解決方案的框架下,本文以預(yù)測(cè)的網(wǎng)絡(luò)距離對(duì)參與節(jié)點(diǎn)進(jìn)行分組,形成由超節(jié)點(diǎn)維護(hù)管理的覆蓋網(wǎng)絡(luò)。使用覆蓋網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)保持機(jī)制、DHT數(shù)據(jù)存儲(chǔ)機(jī)制、依據(jù)數(shù)據(jù)訪(fǎng)問(wèn)率不同的數(shù)據(jù)備份機(jī)制和數(shù)據(jù)修復(fù)機(jī)制,維護(hù)系統(tǒng)的可靠性和數(shù)據(jù)的持久存儲(chǔ)。 在仿真實(shí)驗(yàn)基礎(chǔ)上,通過(guò)與典型系統(tǒng)Chord在數(shù)據(jù)存儲(chǔ)定位路由查詢(xún)跳數(shù)、節(jié)點(diǎn)加入和退出系統(tǒng)時(shí)系統(tǒng)平均處理消息數(shù)以及節(jié)點(diǎn)失效時(shí)數(shù)據(jù)修復(fù)所需平均時(shí)間的性能對(duì)比,驗(yàn)證了該P(yáng)2P廣域存儲(chǔ)系統(tǒng)數(shù)據(jù)持久性存儲(chǔ)的性能。
【學(xué)位授予單位】:湖南大學(xué)
【學(xué)位級(jí)別】:碩士
【學(xué)位授予年份】:2009
【分類(lèi)號(hào)】:TP333
【圖文】:
圖 1.1 Berkeley 和 MIT 設(shè)計(jì)的 P2P 存儲(chǔ)系統(tǒng)發(fā)展過(guò)程從圖中不難發(fā)現(xiàn),P2P存儲(chǔ)系統(tǒng)大致是2000年發(fā)展起來(lái)的,最初的存儲(chǔ)系統(tǒng)伴隨著各知名路由算法如Tapestry[6]、CAN[7]和Chord[8]產(chǎn)生。隨著時(shí)間的推移,對(duì)P2P存儲(chǔ)系統(tǒng)數(shù)據(jù)持久存儲(chǔ)設(shè)計(jì)的認(rèn)識(shí)也更加深入,下面本文將介紹幾種知名的基于P2P的廣域式存儲(chǔ)系統(tǒng)及其數(shù)據(jù)持久存儲(chǔ)設(shè)計(jì)。1 Berkeley的OceanStore海量存儲(chǔ)系統(tǒng)OceanStore[9]是一種基于P2P的廣域存儲(chǔ)系統(tǒng)。它是2000年加州大學(xué)Berkeley分校的B Zhao,J. Kubiatowicz提出的概念,他們將其定義為一種跨越全球和提供永久持續(xù)存儲(chǔ)信息的非常有效的存儲(chǔ)結(jié)構(gòu),系統(tǒng)構(gòu)建設(shè)想如圖1.2所示。該系統(tǒng)構(gòu)建在較為穩(wěn)定的由服務(wù)商提供的節(jié)點(diǎn)集合上,節(jié)點(diǎn)間通過(guò)協(xié)議保證能互相提供持續(xù)的服務(wù);系統(tǒng)假設(shè)每個(gè)節(jié)點(diǎn)都可能不可信,但其系統(tǒng)整體上又是可信的;系統(tǒng)中的數(shù)據(jù)不斷演化使系統(tǒng)能夠自我調(diào)整;系統(tǒng)中的數(shù)據(jù)可共享和全局訪(fǎng)問(wèn),系統(tǒng)能保證數(shù)據(jù)私密性和完整性;系統(tǒng)還提供一定的數(shù)據(jù)一致性保證。本文作者還提出了兩種可能實(shí)現(xiàn)數(shù)據(jù)安全持久存儲(chǔ)的算法, 即海量存儲(chǔ)的概率
是一種基于P2P的廣域存儲(chǔ)系統(tǒng)。它是2000年加州大學(xué)Berkeley分校的B Zhao,J. Kubiatowicz提出的概念,他們將其定義為一種跨越全球和提供永久持續(xù)存儲(chǔ)信息的非常有效的存儲(chǔ)結(jié)構(gòu),系統(tǒng)構(gòu)建設(shè)想如圖1.2所示。該系統(tǒng)構(gòu)建在較為穩(wěn)定的由服務(wù)商提供的節(jié)點(diǎn)集合上,節(jié)點(diǎn)間通過(guò)協(xié)議保證能互相提供持續(xù)的服務(wù);系統(tǒng)假設(shè)每個(gè)節(jié)點(diǎn)都可能不可信,但其系統(tǒng)整體上又是可信的;系統(tǒng)中的數(shù)據(jù)不斷演化使系統(tǒng)能夠自我調(diào)整;系統(tǒng)中的數(shù)據(jù)可共享和全局訪(fǎng)問(wèn),系統(tǒng)能保證數(shù)據(jù)私密性和完整性;系統(tǒng)還提供一定的數(shù)據(jù)一致性保證。本文作者還提出了兩種可能實(shí)現(xiàn)數(shù)據(jù)安全持久存儲(chǔ)的算法, 即海量存儲(chǔ)的概率算法(probabilistic algorithm)和全球算法(global algorithm)。圖 1.2 海量存儲(chǔ)系統(tǒng)構(gòu)建設(shè)想圖
數(shù)f依系統(tǒng)實(shí)際運(yùn)行而動(dòng)態(tài)變化。Agile Store 系統(tǒng)由三個(gè)部分組成:1)提供文件系統(tǒng)服務(wù)的服務(wù)器節(jié)點(diǎn);2)使用文件系統(tǒng)的客戶(hù)機(jī)節(jié)點(diǎn);3)向存儲(chǔ)系統(tǒng)提供錯(cuò)誤檢測(cè)的服務(wù)(fault detection service)。Byzantine 容錯(cuò)編碼位于服務(wù)器節(jié)點(diǎn)中。系統(tǒng)假設(shè)任意時(shí)間內(nèi)發(fā)生的失效服務(wù)器節(jié)點(diǎn)數(shù)目不超過(guò)最大可失效節(jié)點(diǎn)個(gè)數(shù)。假設(shè)存儲(chǔ)網(wǎng)絡(luò)異步執(zhí)行,系統(tǒng)的 read-write 操作選舉協(xié)議、錯(cuò)誤檢測(cè)和重構(gòu)(reconfiguration)算法操作都在以上假設(shè)下執(zhí)行。系統(tǒng)結(jié)構(gòu)如圖 1.5 所示,其中客戶(hù)代理(client agent)是一用戶(hù)空間,該空間輸出 NFS 文件服務(wù)器接口到客戶(hù)機(jī)?蛻(hù)代理通過(guò)元數(shù)據(jù)服務(wù)(metadata services)和數(shù)據(jù)服務(wù)器的交互完成 NFS請(qǐng)求。元數(shù)據(jù)服務(wù)由一組被指定用于處理文件系統(tǒng)元數(shù)據(jù)需求的分布式服務(wù)器組成。元數(shù)據(jù)服務(wù)執(zhí)行 BFT 狀態(tài)機(jī)制[32]。Agile 原型系統(tǒng)使用 Castro-Liskov 協(xié)議[33]。其數(shù)據(jù)服務(wù)器由一組分布式的服務(wù)器組成?蛻(hù)代理隨機(jī)選擇一個(gè)數(shù)據(jù)服務(wù)器作為其代理服務(wù)器,代理服務(wù)器向前傳遞其請(qǐng)求到 quorum 數(shù)據(jù)服務(wù)器。請(qǐng)求回復(fù)也通過(guò)代理服務(wù)器傳達(dá)給客戶(hù)。為了保證在有代理服務(wù)器失效時(shí) read 操作和write 操作的一致性,MACs 被使用于請(qǐng)求和回復(fù)請(qǐng)求中。
本文編號(hào):2778692
【學(xué)位授予單位】:湖南大學(xué)
【學(xué)位級(jí)別】:碩士
【學(xué)位授予年份】:2009
【分類(lèi)號(hào)】:TP333
【圖文】:
圖 1.1 Berkeley 和 MIT 設(shè)計(jì)的 P2P 存儲(chǔ)系統(tǒng)發(fā)展過(guò)程從圖中不難發(fā)現(xiàn),P2P存儲(chǔ)系統(tǒng)大致是2000年發(fā)展起來(lái)的,最初的存儲(chǔ)系統(tǒng)伴隨著各知名路由算法如Tapestry[6]、CAN[7]和Chord[8]產(chǎn)生。隨著時(shí)間的推移,對(duì)P2P存儲(chǔ)系統(tǒng)數(shù)據(jù)持久存儲(chǔ)設(shè)計(jì)的認(rèn)識(shí)也更加深入,下面本文將介紹幾種知名的基于P2P的廣域式存儲(chǔ)系統(tǒng)及其數(shù)據(jù)持久存儲(chǔ)設(shè)計(jì)。1 Berkeley的OceanStore海量存儲(chǔ)系統(tǒng)OceanStore[9]是一種基于P2P的廣域存儲(chǔ)系統(tǒng)。它是2000年加州大學(xué)Berkeley分校的B Zhao,J. Kubiatowicz提出的概念,他們將其定義為一種跨越全球和提供永久持續(xù)存儲(chǔ)信息的非常有效的存儲(chǔ)結(jié)構(gòu),系統(tǒng)構(gòu)建設(shè)想如圖1.2所示。該系統(tǒng)構(gòu)建在較為穩(wěn)定的由服務(wù)商提供的節(jié)點(diǎn)集合上,節(jié)點(diǎn)間通過(guò)協(xié)議保證能互相提供持續(xù)的服務(wù);系統(tǒng)假設(shè)每個(gè)節(jié)點(diǎn)都可能不可信,但其系統(tǒng)整體上又是可信的;系統(tǒng)中的數(shù)據(jù)不斷演化使系統(tǒng)能夠自我調(diào)整;系統(tǒng)中的數(shù)據(jù)可共享和全局訪(fǎng)問(wèn),系統(tǒng)能保證數(shù)據(jù)私密性和完整性;系統(tǒng)還提供一定的數(shù)據(jù)一致性保證。本文作者還提出了兩種可能實(shí)現(xiàn)數(shù)據(jù)安全持久存儲(chǔ)的算法, 即海量存儲(chǔ)的概率
是一種基于P2P的廣域存儲(chǔ)系統(tǒng)。它是2000年加州大學(xué)Berkeley分校的B Zhao,J. Kubiatowicz提出的概念,他們將其定義為一種跨越全球和提供永久持續(xù)存儲(chǔ)信息的非常有效的存儲(chǔ)結(jié)構(gòu),系統(tǒng)構(gòu)建設(shè)想如圖1.2所示。該系統(tǒng)構(gòu)建在較為穩(wěn)定的由服務(wù)商提供的節(jié)點(diǎn)集合上,節(jié)點(diǎn)間通過(guò)協(xié)議保證能互相提供持續(xù)的服務(wù);系統(tǒng)假設(shè)每個(gè)節(jié)點(diǎn)都可能不可信,但其系統(tǒng)整體上又是可信的;系統(tǒng)中的數(shù)據(jù)不斷演化使系統(tǒng)能夠自我調(diào)整;系統(tǒng)中的數(shù)據(jù)可共享和全局訪(fǎng)問(wèn),系統(tǒng)能保證數(shù)據(jù)私密性和完整性;系統(tǒng)還提供一定的數(shù)據(jù)一致性保證。本文作者還提出了兩種可能實(shí)現(xiàn)數(shù)據(jù)安全持久存儲(chǔ)的算法, 即海量存儲(chǔ)的概率算法(probabilistic algorithm)和全球算法(global algorithm)。圖 1.2 海量存儲(chǔ)系統(tǒng)構(gòu)建設(shè)想圖
數(shù)f依系統(tǒng)實(shí)際運(yùn)行而動(dòng)態(tài)變化。Agile Store 系統(tǒng)由三個(gè)部分組成:1)提供文件系統(tǒng)服務(wù)的服務(wù)器節(jié)點(diǎn);2)使用文件系統(tǒng)的客戶(hù)機(jī)節(jié)點(diǎn);3)向存儲(chǔ)系統(tǒng)提供錯(cuò)誤檢測(cè)的服務(wù)(fault detection service)。Byzantine 容錯(cuò)編碼位于服務(wù)器節(jié)點(diǎn)中。系統(tǒng)假設(shè)任意時(shí)間內(nèi)發(fā)生的失效服務(wù)器節(jié)點(diǎn)數(shù)目不超過(guò)最大可失效節(jié)點(diǎn)個(gè)數(shù)。假設(shè)存儲(chǔ)網(wǎng)絡(luò)異步執(zhí)行,系統(tǒng)的 read-write 操作選舉協(xié)議、錯(cuò)誤檢測(cè)和重構(gòu)(reconfiguration)算法操作都在以上假設(shè)下執(zhí)行。系統(tǒng)結(jié)構(gòu)如圖 1.5 所示,其中客戶(hù)代理(client agent)是一用戶(hù)空間,該空間輸出 NFS 文件服務(wù)器接口到客戶(hù)機(jī)?蛻(hù)代理通過(guò)元數(shù)據(jù)服務(wù)(metadata services)和數(shù)據(jù)服務(wù)器的交互完成 NFS請(qǐng)求。元數(shù)據(jù)服務(wù)由一組被指定用于處理文件系統(tǒng)元數(shù)據(jù)需求的分布式服務(wù)器組成。元數(shù)據(jù)服務(wù)執(zhí)行 BFT 狀態(tài)機(jī)制[32]。Agile 原型系統(tǒng)使用 Castro-Liskov 協(xié)議[33]。其數(shù)據(jù)服務(wù)器由一組分布式的服務(wù)器組成?蛻(hù)代理隨機(jī)選擇一個(gè)數(shù)據(jù)服務(wù)器作為其代理服務(wù)器,代理服務(wù)器向前傳遞其請(qǐng)求到 quorum 數(shù)據(jù)服務(wù)器。請(qǐng)求回復(fù)也通過(guò)代理服務(wù)器傳達(dá)給客戶(hù)。為了保證在有代理服務(wù)器失效時(shí) read 操作和write 操作的一致性,MACs 被使用于請(qǐng)求和回復(fù)請(qǐng)求中。
【引證文獻(xiàn)】
相關(guān)碩士學(xué)位論文 前2條
1 許勁斌;P2P網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)的數(shù)據(jù)可靠性研究[D];哈爾濱工程大學(xué);2011年
2 胡益明;P2P分布式存儲(chǔ)系統(tǒng)副本策略研究[D];湖南大學(xué);2011年
本文編號(hào):2778692
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/2778692.html
最近更新
教材專(zhuān)著