面向PB級存儲系統(tǒng)的元數(shù)據(jù)集群管理容錯(cuò)方法研究與實(shí)現(xiàn)
發(fā)布時(shí)間:2022-02-13 14:44
隨著計(jì)算機(jī)技術(shù),信息技術(shù)和互聯(lián)網(wǎng)絡(luò)的發(fā)展,高性能計(jì)算、商業(yè)計(jì)算、大規(guī)模數(shù)據(jù)處理、信息處理等技術(shù)得到廣泛的應(yīng)用。集群系統(tǒng)因其較高的性能價(jià)格比和較好的可擴(kuò)展性而受到越來越多的青睞。與此同時(shí),這些應(yīng)用對分布式數(shù)據(jù)存儲提出了更大容量,更高性能,更高可用性的要求。新興的對象存儲結(jié)構(gòu)能夠利用現(xiàn)有的處理技術(shù)、網(wǎng)絡(luò)技術(shù)和存儲組件提供空前的可伸縮性和聚合吞吐量,為構(gòu)建新一代的大規(guī)模并行存儲系統(tǒng)提供了基礎(chǔ)。本文在全面深入了解對象存儲體系結(jié)構(gòu)與現(xiàn)有對象存儲系統(tǒng)的基礎(chǔ)上,對基于對象存儲體系結(jié)構(gòu)的大規(guī)模集群存儲系統(tǒng)所涉及的元數(shù)據(jù)集群管理的容錯(cuò)問題進(jìn)行了深入的研究,提出了新穎的思想和解決方法。主要的貢獻(xiàn)如下:(1)提出一種面向PB級存儲系統(tǒng)的基于目錄對象副本的高可用元數(shù)據(jù)管理模型。通過采用高效的、并發(fā)的目錄對象副本放置、更新、遷移策略以及管理機(jī)制,既保證實(shí)現(xiàn)了目錄對象數(shù)據(jù)的可靠性和可用性,又增加了讀取數(shù)據(jù)時(shí)的聚合網(wǎng)絡(luò)帶寬,提高讀操作的性能。同時(shí)采用馬爾可夫激勵(lì)模型進(jìn)行了定量可用性分析。實(shí)際的功能測試與性能測試表明該模型方法能夠有效保證存儲系統(tǒng)的高可用性,提高元數(shù)據(jù)服務(wù)器集群的整體訪問性能。(2)提出了一種對面向基...
【文章來源】:國防科技大學(xué)湖南省211工程院校985工程院校
【文章頁數(shù)】:80 頁
【學(xué)位級別】:碩士
【部分圖文】:
元數(shù)據(jù)集群系統(tǒng)的體系結(jié)構(gòu)
國防科學(xué)技術(shù)大學(xué)研究生院學(xué)位論文圖如下圖3.3所示:客戶端(10,000一l,000,000+)羚羚 羚蟠 蟠場場粉 粉場 場鄂鄂緲緲鄂鄂粉粉鸚 鸚鉀 鉀鄂 鄂擅 擅擅擅 擅著 著 著.攀纂 纂 纂 ~~~白勺 ...............摹 摹摹摹 摹續(xù)鰲鰲 弓弓 弓 弓 耀耀耀耀 耀 耀 耀 耀 耀 耀耀 耀 耀 魂 魂 魂魂魂魂魂魂魂 魂魂 魂 魂纓 纓 纓 灌灌灌灌 灌 灌灌灌 灌 灌 灌 灌 灌 食食食 食食食食 食 食食食 食霎 霎 霎一耀 耀 蘸蘸 ...{、{{{贏 贏 贏贏 lll贏 贏 匕____j瞥f二竺______l圖3.3元數(shù)據(jù)集群系統(tǒng)體系結(jié)構(gòu)擴(kuò)展后的對象存儲體系結(jié)構(gòu)圖3.2.3元數(shù)據(jù)集群系統(tǒng)小結(jié)本文的基于對象存儲的集群文件系統(tǒng)oeFs(objeet一 basedeluste:Filesystem)[,]通過采用對象存儲體系結(jié)構(gòu)的方式將文件數(shù)據(jù)訪問控制流和數(shù)據(jù)流有效地分離,為系統(tǒng)客戶提供高吞吐率,可擴(kuò)展的數(shù)據(jù)服務(wù)。同時(shí),在此基礎(chǔ)上,對對象存儲體系結(jié)構(gòu)進(jìn)行了進(jìn)一步的擴(kuò)展和延伸,將MDS集群按照對象存儲體系結(jié)構(gòu)的方式予以擴(kuò)展
第二步:從那個(gè)檢查點(diǎn)處,通過日志向后遍歷查找對欲讀取的數(shù)據(jù)進(jìn)行的變更或改變,如果找到了歷史版本,就直接使用它,否則的話(如果沒有找到的話),就從做了元數(shù)據(jù)檢查點(diǎn)的Tcp處讀取數(shù)據(jù)。第一步,第二步分別如圖5.4,圖5.5,圖5.6所示。第一步:一第51頁—
【參考文獻(xiàn)】:
期刊論文
[1]基于目錄路徑的元數(shù)據(jù)管理方法[J]. 劉仲,周興銘. 軟件學(xué)報(bào). 2007(02)
[2]一種基于檢查點(diǎn)的卷回恢復(fù)與進(jìn)程遷移系統(tǒng)[J]. 汪東升,沈美明,鄭緯民,裴丹. 軟件學(xué)報(bào). 1999(01)
博士論文
[1]基于對象存儲結(jié)構(gòu)的可伸縮集群存儲系統(tǒng)研究[D]. 劉仲.國防科學(xué)技術(shù)大學(xué) 2005
本文編號:3623380
【文章來源】:國防科技大學(xué)湖南省211工程院校985工程院校
【文章頁數(shù)】:80 頁
【學(xué)位級別】:碩士
【部分圖文】:
元數(shù)據(jù)集群系統(tǒng)的體系結(jié)構(gòu)
國防科學(xué)技術(shù)大學(xué)研究生院學(xué)位論文圖如下圖3.3所示:客戶端(10,000一l,000,000+)羚羚 羚蟠 蟠場場粉 粉場 場鄂鄂緲緲鄂鄂粉粉鸚 鸚鉀 鉀鄂 鄂擅 擅擅擅 擅著 著 著.攀纂 纂 纂 ~~~白勺 ...............摹 摹摹摹 摹續(xù)鰲鰲 弓弓 弓 弓 耀耀耀耀 耀 耀 耀 耀 耀 耀耀 耀 耀 魂 魂 魂魂魂魂魂魂魂 魂魂 魂 魂纓 纓 纓 灌灌灌灌 灌 灌灌灌 灌 灌 灌 灌 灌 食食食 食食食食 食 食食食 食霎 霎 霎一耀 耀 蘸蘸 ...{、{{{贏 贏 贏贏 lll贏 贏 匕____j瞥f二竺______l圖3.3元數(shù)據(jù)集群系統(tǒng)體系結(jié)構(gòu)擴(kuò)展后的對象存儲體系結(jié)構(gòu)圖3.2.3元數(shù)據(jù)集群系統(tǒng)小結(jié)本文的基于對象存儲的集群文件系統(tǒng)oeFs(objeet一 basedeluste:Filesystem)[,]通過采用對象存儲體系結(jié)構(gòu)的方式將文件數(shù)據(jù)訪問控制流和數(shù)據(jù)流有效地分離,為系統(tǒng)客戶提供高吞吐率,可擴(kuò)展的數(shù)據(jù)服務(wù)。同時(shí),在此基礎(chǔ)上,對對象存儲體系結(jié)構(gòu)進(jìn)行了進(jìn)一步的擴(kuò)展和延伸,將MDS集群按照對象存儲體系結(jié)構(gòu)的方式予以擴(kuò)展
第二步:從那個(gè)檢查點(diǎn)處,通過日志向后遍歷查找對欲讀取的數(shù)據(jù)進(jìn)行的變更或改變,如果找到了歷史版本,就直接使用它,否則的話(如果沒有找到的話),就從做了元數(shù)據(jù)檢查點(diǎn)的Tcp處讀取數(shù)據(jù)。第一步,第二步分別如圖5.4,圖5.5,圖5.6所示。第一步:一第51頁—
【參考文獻(xiàn)】:
期刊論文
[1]基于目錄路徑的元數(shù)據(jù)管理方法[J]. 劉仲,周興銘. 軟件學(xué)報(bào). 2007(02)
[2]一種基于檢查點(diǎn)的卷回恢復(fù)與進(jìn)程遷移系統(tǒng)[J]. 汪東升,沈美明,鄭緯民,裴丹. 軟件學(xué)報(bào). 1999(01)
博士論文
[1]基于對象存儲結(jié)構(gòu)的可伸縮集群存儲系統(tǒng)研究[D]. 劉仲.國防科學(xué)技術(shù)大學(xué) 2005
本文編號:3623380
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/3623380.html
最近更新
教材專著