基于容錯及檢錯的云存儲可靠性技術(shù)研究
發(fā)布時間:2022-01-10 14:06
大數(shù)據(jù)時代給數(shù)據(jù)的存儲和處理帶來了極大的挑戰(zhàn),現(xiàn)代的云數(shù)據(jù)中心規(guī)模越來越大以滿足海量的數(shù)據(jù)存儲和處理要求。在Google云計算數(shù)據(jù)中心,服務(wù)器的規(guī)模已達(dá)到數(shù)以百萬計,如此多的普通數(shù)據(jù)服務(wù)器全天候的提供服務(wù),節(jié)點失效已成為常態(tài),因此,如何有效提高數(shù)據(jù)的可靠性,保證系統(tǒng)在部分節(jié)點失效時依然能提供高質(zhì)量的服務(wù)水平是值得深入研究的課題。本文針對構(gòu)建低冗余度、高可靠性云存儲系統(tǒng)的關(guān)鍵問題,在總結(jié)了當(dāng)今數(shù)據(jù)可靠性增強理論和海量數(shù)據(jù)存儲系統(tǒng)基本架構(gòu)的基礎(chǔ)上,對副本容錯、糾刪碼容錯、失效檢測等方面進(jìn)行了深入的研究,取得了一定的進(jìn)展,具體如下:(1)針對云存儲靜態(tài)副本策略效率不高的問題,本文提出了一種云存儲動態(tài)副本容錯策略。動態(tài)副本容錯策略包括副本的放置策略和副本的數(shù)量調(diào)整策略。副本的放置策略根據(jù)節(jié)點的相關(guān)性把節(jié)點分成不同的分組,并將不同的分組組織成一個虛擬的環(huán),采用一致性Hash算法實現(xiàn)副本的組間布局,在組內(nèi)以節(jié)點的性能和負(fù)載為衡量指標(biāo),采用TOPSIS(Technique for Order Preference by Similarity to an Ideal Solution)理論解決基于性能...
【文章來源】:武漢理工大學(xué)湖北省 211工程院校 教育部直屬院校
【文章頁數(shù)】:146 頁
【學(xué)位級別】:博士
【部分圖文】:
云存儲系統(tǒng)架構(gòu)圖
8oop Distributed File System[33]采用了與GFS 類似的主從體系結(jié)構(gòu),由唯一的 Nade 節(jié)點組成。NameNode是云存儲系統(tǒng)的核心節(jié)點,間,管理元數(shù)據(jù)和數(shù)據(jù)塊,心跳檢測,監(jiān)控節(jié)點狀態(tài)DataNode 在 NameNode 的管理下進(jìn)行文件的存儲和訪除操作也是在DataNode 上進(jìn)行。因此,DataNode 的和向NameNode 報告節(jié)點的狀態(tài)信息。HDFS 的系訪問過程首先由客戶端發(fā)起,它向 NameNode 發(fā)送元數(shù)據(jù)信息返回給客戶端,最后由客戶端直接與 D的讀寫功能。文件具體的訪問流程(讀操作)可分
武漢理工大學(xué)博士學(xué)位論文客戶端發(fā)出文件訪問請求,元數(shù)據(jù)服務(wù)器在收到客戶端的文件訪問請求后數(shù)據(jù)管理模塊將訪問請求轉(zhuǎn)換為元數(shù)據(jù)并獲取元數(shù)據(jù)的一系列控制信息,通節(jié)點管理及副本管理等模塊的控制,選擇最合適的數(shù)據(jù)存儲服務(wù)器作為訪問節(jié)點。
【參考文獻(xiàn)】:
期刊論文
[1]對等網(wǎng)絡(luò)中一種優(yōu)化的副本分布方法[J]. 孫新,李慶洲,趙璞,王克祥,潘凡. 計算機學(xué)報. 2014(06)
[2]基于時間序列預(yù)測的自適應(yīng)失效檢測模型[J]. 石磊,景京,衛(wèi)琳,陶永才,曹仰杰. 小型微型計算機系統(tǒng). 2014(03)
[3]一種副本復(fù)制和糾錯碼融合的云存儲文件系統(tǒng)容錯機制[J]. 楊東日,王穎,劉鵬. 清華大學(xué)學(xué)報(自然科學(xué)版). 2014(01)
[4]一種容三盤失效糾刪碼的單數(shù)據(jù)盤失效快速重建方法[J]. 邱麗娜,王芳,李楚. 計算機學(xué)報. 2013(10)
[5]異構(gòu)環(huán)境下云計算數(shù)據(jù)副本動態(tài)管理研究[J]. 陶永才,張寧寧,石磊,衛(wèi)琳. 小型微型計算機系統(tǒng). 2013(07)
[6]基于快速重構(gòu)機制的混合式失效檢測算法[J]. 楊猛,燕雪峰. 小型微型計算機系統(tǒng). 2013(04)
[7]云計算:實例研究與關(guān)鍵技術(shù)[J]. 柯棟梁,鄭嘯,李喬. 小型微型計算機系統(tǒng). 2012(11)
[8]基于博弈思想的副本創(chuàng)建策略研究[J]. 王小梅,李新明,王帥. 計算機工程. 2012(17)
[9]基于糾刪碼和動態(tài)副本策略的HDFS改進(jìn)系統(tǒng)[J]. 李曉愷,代翔,李文杰,崔喆. 計算機應(yīng)用. 2012(08)
[10]Modeling a Dynamic Data Replication Strategy to Increase System Availability in Cloud Computing Environments[J]. 孫大為,常桂然,高尚,靳立忠,王興偉. Journal of Computer Science & Technology. 2012(02)
博士論文
[1]分布式存儲系統(tǒng)中的節(jié)點自主性問題研究[D]. 宋瑋.華南理工大學(xué) 2010
[2]分布式安全存儲系統(tǒng)糾刪碼技術(shù)的研究[D]. 萬武南.中國科學(xué)院研究生院(成都計算機應(yīng)用研究所) 2006
碩士論文
[1]云計算環(huán)境下的容錯存儲技術(shù)研究[D]. 裴曉強.國防科學(xué)技術(shù)大學(xué) 2011
本文編號:3580844
【文章來源】:武漢理工大學(xué)湖北省 211工程院校 教育部直屬院校
【文章頁數(shù)】:146 頁
【學(xué)位級別】:博士
【部分圖文】:
云存儲系統(tǒng)架構(gòu)圖
8oop Distributed File System[33]采用了與GFS 類似的主從體系結(jié)構(gòu),由唯一的 Nade 節(jié)點組成。NameNode是云存儲系統(tǒng)的核心節(jié)點,間,管理元數(shù)據(jù)和數(shù)據(jù)塊,心跳檢測,監(jiān)控節(jié)點狀態(tài)DataNode 在 NameNode 的管理下進(jìn)行文件的存儲和訪除操作也是在DataNode 上進(jìn)行。因此,DataNode 的和向NameNode 報告節(jié)點的狀態(tài)信息。HDFS 的系訪問過程首先由客戶端發(fā)起,它向 NameNode 發(fā)送元數(shù)據(jù)信息返回給客戶端,最后由客戶端直接與 D的讀寫功能。文件具體的訪問流程(讀操作)可分
武漢理工大學(xué)博士學(xué)位論文客戶端發(fā)出文件訪問請求,元數(shù)據(jù)服務(wù)器在收到客戶端的文件訪問請求后數(shù)據(jù)管理模塊將訪問請求轉(zhuǎn)換為元數(shù)據(jù)并獲取元數(shù)據(jù)的一系列控制信息,通節(jié)點管理及副本管理等模塊的控制,選擇最合適的數(shù)據(jù)存儲服務(wù)器作為訪問節(jié)點。
【參考文獻(xiàn)】:
期刊論文
[1]對等網(wǎng)絡(luò)中一種優(yōu)化的副本分布方法[J]. 孫新,李慶洲,趙璞,王克祥,潘凡. 計算機學(xué)報. 2014(06)
[2]基于時間序列預(yù)測的自適應(yīng)失效檢測模型[J]. 石磊,景京,衛(wèi)琳,陶永才,曹仰杰. 小型微型計算機系統(tǒng). 2014(03)
[3]一種副本復(fù)制和糾錯碼融合的云存儲文件系統(tǒng)容錯機制[J]. 楊東日,王穎,劉鵬. 清華大學(xué)學(xué)報(自然科學(xué)版). 2014(01)
[4]一種容三盤失效糾刪碼的單數(shù)據(jù)盤失效快速重建方法[J]. 邱麗娜,王芳,李楚. 計算機學(xué)報. 2013(10)
[5]異構(gòu)環(huán)境下云計算數(shù)據(jù)副本動態(tài)管理研究[J]. 陶永才,張寧寧,石磊,衛(wèi)琳. 小型微型計算機系統(tǒng). 2013(07)
[6]基于快速重構(gòu)機制的混合式失效檢測算法[J]. 楊猛,燕雪峰. 小型微型計算機系統(tǒng). 2013(04)
[7]云計算:實例研究與關(guān)鍵技術(shù)[J]. 柯棟梁,鄭嘯,李喬. 小型微型計算機系統(tǒng). 2012(11)
[8]基于博弈思想的副本創(chuàng)建策略研究[J]. 王小梅,李新明,王帥. 計算機工程. 2012(17)
[9]基于糾刪碼和動態(tài)副本策略的HDFS改進(jìn)系統(tǒng)[J]. 李曉愷,代翔,李文杰,崔喆. 計算機應(yīng)用. 2012(08)
[10]Modeling a Dynamic Data Replication Strategy to Increase System Availability in Cloud Computing Environments[J]. 孫大為,常桂然,高尚,靳立忠,王興偉. Journal of Computer Science & Technology. 2012(02)
博士論文
[1]分布式存儲系統(tǒng)中的節(jié)點自主性問題研究[D]. 宋瑋.華南理工大學(xué) 2010
[2]分布式安全存儲系統(tǒng)糾刪碼技術(shù)的研究[D]. 萬武南.中國科學(xué)院研究生院(成都計算機應(yīng)用研究所) 2006
碩士論文
[1]云計算環(huán)境下的容錯存儲技術(shù)研究[D]. 裴曉強.國防科學(xué)技術(shù)大學(xué) 2011
本文編號:3580844
本文鏈接:http://sikaile.net/kejilunwen/jisuanjikexuelunwen/3580844.html
最近更新
教材專著