發(fā)布時(shí)間：2020-06-08 12:47

【摘要】：當(dāng)前,隨著信息化進(jìn)程的不斷推進(jìn),需要存儲(chǔ)的各種數(shù)據(jù)量也不斷增加。。數(shù)據(jù)量的急劇增加給存儲(chǔ)系統(tǒng)的設(shè)計(jì)帶來(lái)了巨大挑戰(zhàn)。以往基于Client/Server的單點(diǎn)集中存儲(chǔ)已經(jīng)不能滿足當(dāng)前的存儲(chǔ)需求,與其對(duì)應(yīng)的分布式存儲(chǔ)異軍突起。在分布式存儲(chǔ)中,數(shù)據(jù)經(jīng)常是被多副本存儲(chǔ),即一份數(shù)據(jù)存儲(chǔ)多份,目的是提高系統(tǒng)的數(shù)據(jù)可靠性和可用性。 針對(duì)多個(gè)數(shù)據(jù)的副本,如何快速的從存儲(chǔ)系統(tǒng)中得到所需的數(shù)據(jù),已經(jīng)成為學(xué)術(shù)界的研究重點(diǎn)。目前主要可以采用兩種方式快速獲得所需要的數(shù)據(jù),一種是采用某種服務(wù)器選擇算法,選擇最優(yōu)的服務(wù)器進(jìn)行數(shù)據(jù)的下載。另一種是采用多節(jié)點(diǎn)協(xié)作的并行下載技術(shù)。由于多節(jié)點(diǎn)協(xié)作的并行下載技術(shù)可以充分利用服務(wù)器的帶寬,避免復(fù)雜的服務(wù)器選擇算法,在存儲(chǔ)系統(tǒng)中采用該方法具有明顯的優(yōu)勢(shì)。本文就存儲(chǔ)系統(tǒng)中采用多節(jié)點(diǎn)協(xié)作并行下載的相關(guān)技術(shù)進(jìn)行了研究。本文的主要工作和貢獻(xiàn)可歸納為以下幾點(diǎn): 1.分析了分布式存儲(chǔ)架構(gòu),對(duì)863項(xiàng)目(新一代業(yè)務(wù)運(yùn)行管控協(xié)同支撐環(huán)境的開發(fā))中采用的存儲(chǔ)架構(gòu)和相關(guān)技術(shù)進(jìn)行了研究,分析了在系統(tǒng)中采用并行下載的相關(guān)背景。 2.分析研究了網(wǎng)絡(luò)帶寬和延時(shí)測(cè)量的機(jī)制,并采用網(wǎng)絡(luò)測(cè)量工具分析了延時(shí)、丟包等參數(shù)對(duì)帶寬的影響,而且采用NS2仿真的方式分析研究了TCP流量控制和擁塞控制對(duì)帶寬的影響。 3.分析了常見并行套接字的機(jī)制,其中重點(diǎn)分析了流控制傳輸協(xié)議(Stream Control Transmission Protocol:SCTP)的多流和多宿主機(jī)制,并利用SCTP的多流機(jī)制提出一種改進(jìn)的FTP的下載方式,并與基于TCP的FTP進(jìn)行了對(duì)比,下載文件時(shí)間明顯縮短。另外針對(duì)并行套接字庫(kù)Psock采用linux系統(tǒng)調(diào)用poll存在的問題,實(shí)驗(yàn)分析表明采用epoll代替poll的具有明顯的性能優(yōu)勢(shì)。 4.提出一種基于帶寬測(cè)量的多節(jié)點(diǎn)協(xié)作并行下載機(jī)制,主要是對(duì)文件分塊下載時(shí)的最后一塊采用動(dòng)態(tài)調(diào)整的方式,這樣可以讓多個(gè)并行下載流盡可能的同時(shí)結(jié)束,加快下載速度。另外為了減少服務(wù)器端對(duì)硬盤的讀取,將服務(wù)器端緩存加入到了并行下載技術(shù)中,實(shí)驗(yàn)表明此方法加快了下載速度。
【圖文】：

Hadoop 分布式文件系統(tǒng) HDFS圖 2.1 HDFS 架構(gòu)圖圖 2.1 給出了 HDFS 的整體架構(gòu)圖，主要包括兩個(gè)部分，一個(gè) Namenode 節(jié)點(diǎn)，一定數(shù)目的 Datanodes 節(jié)點(diǎn)。Namenode 是負(fù)責(zé)管理文件的元數(shù)據(jù)信息，如文件的命名空間。Datanodes 是文件數(shù)據(jù)塊的真實(shí)存儲(chǔ)位置。HDFS 設(shè)計(jì)時(shí)主要是針對(duì)大文件存儲(chǔ)的，所以不適合小文件存儲(chǔ)，另外，HDFS 不支持文件并發(fā)寫入和 文 件 修 改 且 使 用 場(chǎng) 景 一 般 是 一 次 寫 入 多 次 讀 取 的 情 況(Write-Once-Read-Many)。HDFS 的讀寫過程分別如圖 2.2 和 2.3 所示。

圖 2.2 HDFS 讀文件圖 2.3 HDFS 寫文件儲(chǔ)三份，這樣磁盤使用將增加 200%。文獻(xiàn)(Bin Fan etce 機(jī)制，并把它引入到了 HDFS 當(dāng)中。DiskReduce 作
【學(xué)位授予單位】：中國(guó)科學(xué)技術(shù)大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2011
【分類號(hào)】：TP333

【引證文獻(xiàn)】

相關(guān)期刊論文 前1條

1 張超;潘旭東;;Linux下基于EPOLL機(jī)制的海量網(wǎng)絡(luò)信息處理模型[J];強(qiáng)激光與粒子束;2013年S1期

相關(guān)碩士學(xué)位論文 前1條

1 童明;基于HDFS的分布式存儲(chǔ)研究與應(yīng)用[D];華中科技大學(xué);2012年

，

本文編號(hào)：2703112