【摘要】：隨著互聯(lián)網(wǎng)迅速的發(fā)展,數(shù)據(jù)量呈指數(shù)增長,用戶對海量數(shù)據(jù)的存儲和處理需求加大,傳統(tǒng)的數(shù)據(jù)庫集中存儲已經(jīng)不能滿足需求,利用網(wǎng)絡(luò)進行分布式存儲成為趨勢。如何在復(fù)雜的網(wǎng)絡(luò)環(huán)境中搭建可用和可靠的分布式存儲系統(tǒng),已經(jīng)成為熱點問題。P2P技術(shù)的出現(xiàn)和發(fā)展推動了網(wǎng)絡(luò)存儲技術(shù)的發(fā)展。如今,國際互聯(lián)網(wǎng)公司又提出“云存儲”的概念,向用戶提供可靠方便的服務(wù)。 現(xiàn)有的許多分布式存儲系統(tǒng),采用集中式管理,沒有充分考慮和利用客戶端之間的通信帶寬提供更高效的服務(wù)。本文首先對分布式存儲和P2P技術(shù)進行分析,結(jié)合當(dāng)前國內(nèi)外研究現(xiàn)狀和發(fā)展態(tài)勢,設(shè)計出高效的基于P2P的分布式海量數(shù)據(jù)存儲系統(tǒng),由端系統(tǒng)以及服務(wù)器系統(tǒng)構(gòu)成覆蓋網(wǎng)絡(luò),并且向終端存儲演進。 本文的主要工作有以下幾點: 第一,通過對現(xiàn)有P2P技術(shù)和分布式存儲技術(shù)的研究與分析,設(shè)計了出了一個基于P2P的分布式存儲系統(tǒng),不再由中心節(jié)點對元數(shù)據(jù)進行集中管理,而是將元數(shù)據(jù)的存儲和管理分散到系統(tǒng)的各個節(jié)點上。實現(xiàn)存儲系統(tǒng)的基本功能,包括文件的發(fā)布、更新、刪除和下載。 第二,副本管理模塊的設(shè)計和實現(xiàn)。在復(fù)雜的網(wǎng)絡(luò)環(huán)境中,節(jié)點間存在傳輸速率和帶寬的區(qū)別,也有節(jié)點失效的風(fēng)險,副本管理模塊依據(jù)客戶端所發(fā)送二次請求頻率對副本的冗余度進行管理,在保證數(shù)據(jù)的可靠性的前提下又不占用過多存儲空間。副本管理模塊還對副本的一致性進行管理,保證用戶的下載和更新等操作都對統(tǒng)一的版本進行,但是多個副本的一致性更新操作將占用較大網(wǎng)絡(luò)帶寬,本模塊實行可延后機制,在網(wǎng)絡(luò)空閑或用戶需要對文件進行操作時才進行數(shù)據(jù)一致性同步。
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2011
【分類號】：TP393.09;TP333
【圖文】：

大規(guī)模存儲應(yīng)用的需要。分布式存儲系統(tǒng)采用可擴展的系統(tǒng)結(jié)構(gòu)，利用多服務(wù)器分擔(dān)存儲負荷，利用位置服務(wù)器定位存儲信息，它不但提高了系統(tǒng)性、可用性、和存儲效率，還易于擴展。分布式存儲系統(tǒng)在快速的發(fā)展中，出現(xiàn)了多種模型的應(yīng)用實例，其中比的系統(tǒng)有谷歌的 GFS[3]、Berkeley 的 OceanStore、MIT[4]的 PAST 和微tValut[5]等。2.1 GFSGFS(Google File System，谷歌文件系統(tǒng))是一個可擴展的分布式文件系統(tǒng)大型的、分布式的、對海量數(shù)據(jù)進行處理的應(yīng)用。它運行于廉價的普通硬件供容錯功能。它可以給大量用戶提供總體性能較高的服務(wù)。GFS 架構(gòu)如圖示。

HDFS簡要結(jié)構(gòu)

【引證文獻】

相關(guān)碩士學(xué)位論文 前1條

1 陳玲玲;基于副本管理的P2P存儲系統(tǒng)模型建立與性能分析[D];燕山大學(xué);2012年

本文編號：2728193