【摘要】：Internet時代是一個信息時代,大量的信息以井噴的姿勢出現(xiàn)在互聯(lián)網(wǎng)上,未來網(wǎng)絡(luò)更以海量數(shù)據(jù)處理應(yīng)用為中心,如何有效存儲和管理成為當(dāng)前網(wǎng)絡(luò)面臨的難點之一。分布式云存儲作為一種新興的分布式存儲,以其結(jié)構(gòu)靈活、響應(yīng)效率高、管理方便等特性,成為各企事業(yè)單位解決數(shù)據(jù)爆炸性增長方案的首選。但研究發(fā)現(xiàn),無論是傳統(tǒng)式的分布式文件系統(tǒng)還是面向Internet的分布式文件系統(tǒng),它們從可擴展性、可靠性、容錯性及服務(wù)性能等諸多方面,距離支持海量數(shù)據(jù)的云存儲要求都存在較大的差距。而造成這些不足的原因正是由于這些系統(tǒng)所共同采用的邏輯集中式的體系結(jié)構(gòu),并且,隨著系統(tǒng)規(guī)模的不斷增大,不足會愈加明顯。 基于以上問題,在本實驗室的分布式環(huán)境下,在本文系統(tǒng)、全面地學(xué)習(xí)和總結(jié)分布式存儲系統(tǒng)發(fā)展現(xiàn)狀的基礎(chǔ)上,充分考慮到云存儲的特點及各種云應(yīng)用對數(shù)據(jù)及資源的需求,設(shè)計了一種物理與邏輯相統(tǒng)一的云存儲架構(gòu),該架構(gòu)通過結(jié)合集中式管理的效率及P2P存儲方式的健壯性,改變了集中式管理伸縮性差以及整個存儲系統(tǒng)對主節(jié)點的單點依賴,實現(xiàn)了邏輯與物理相統(tǒng)一的分布式,使具有高可擴展性、高可靠性、用戶透明性及強容錯性的云存儲系統(tǒng)成為可能。 首先,本文設(shè)計了一個物理與邏輯相統(tǒng)一的無主控制的云存儲架構(gòu),利用分區(qū)自治的管理節(jié)點SuperNode節(jié)點克服了集中式架構(gòu)中的單點依賴；其次,通過SuperNode節(jié)點間的協(xié)作機制,對已存在的應(yīng)用不會造成任何負(fù)面影響,可兼容集中式架構(gòu)擁有的任何應(yīng)用,從而提高了整個云存儲架構(gòu)可擴展性；最后,為了實現(xiàn)不需任何手動干預(yù)即可自動、快速地接管失效管理節(jié)點的子群,設(shè)計了一套動態(tài)接管機制,通過完善數(shù)據(jù)節(jié)點的心跳機制,使失效管理節(jié)點下的數(shù)據(jù)節(jié)點動態(tài)地被接管,并加入到新的子群當(dāng)中繼續(xù)提供服務(wù),大大增強了云存儲系統(tǒng)的容錯性。本文中云存儲架構(gòu)的設(shè)計區(qū)別于其他傳統(tǒng)式或現(xiàn)有的存儲架構(gòu),是真正的云存儲,為各行各業(yè)有效地進行海量數(shù)據(jù)的存儲與管理打下了堅實的基礎(chǔ),同時本架構(gòu)可實施于任何普通的PC集群上,極大降低了運行分布式系統(tǒng)的成本。
【學(xué)位授予單位】：大連理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2011
【分類號】：TP333
【圖文】：

PVFS(并行虛擬文件系統(tǒng))可以直接應(yīng)用于廉價的Linux集群而且并不需要特殊的設(shè)備和對內(nèi)核進行改動。PVFS的基本邏輯架構(gòu)如圖2.2所示， PVFSServerS是管理節(jié)點，即系統(tǒng)的元數(shù)據(jù)服務(wù)器，它負(fù)責(zé)管理和訪問所有的文件元數(shù)據(jù)信息;1/0節(jié)點是運行1/0操作的服務(wù)器節(jié)點，負(fù)責(zé)系統(tǒng)中數(shù)據(jù)的存儲和檢索;計算節(jié)點是用來處理應(yīng)用訪問的節(jié)點，可以通過PVFS專有的hbpvfs接口庫從底層訪問PVFs服務(wù)器。

圖2.3FastDFS的文件上傳過程Fig.23FileuPloadProeessofFastDFS2.4給出了FastDFS系統(tǒng)的文件下載過程。匹三奎巨三二芝二洲翔既化c沁誰眼1時m公夕例p帕服.岡川‘n艦，丫卜一.一一一~，~一一一沖-.一~一一~巾叭~_夕瞬節(jié)容‘甲翻她擴。間扭翩:廠、‘_一_、_，_，____‘*一，、、~，一二_確滬~6甘月簇，渭蓄鉆山打取斌六蝴p徹服翻理ld6讓曉翻m‘)斤扮C。目月c們籠圖2.4FastDFS的文件下載過程

【引證文獻】

相關(guān)碩士學(xué)位論文 前1條

1 易理林;HDFS文件系統(tǒng)中元數(shù)據(jù)的高可用性管理方法研究[D];華南理工大學(xué);2013年

本文編號：2714674