隨著全球信息化網(wǎng)絡(luò)化發(fā)展和變革的推進(jìn),信息處理工作的客觀環(huán)境已發(fā)生了根本性變化。目前隨著各國信息化步伐的加快,要處理的來源數(shù)據(jù)發(fā)生了明顯變化,最主要的特點(diǎn)就是數(shù)據(jù)的傳輸速率越來越快,信息量越來越大,如何及時有效地存儲和處理海量數(shù)據(jù),并在大量的數(shù)據(jù)中準(zhǔn)確定位目標(biāo)數(shù)據(jù)是擺在當(dāng)前和將來的信息處理工作中的一道難題,成為信息化建設(shè)中的一大瓶頸。 有鑒于此,海量數(shù)據(jù)存儲一直都是熱門的研究點(diǎn),對其研究的課題層出不窮,既包括大文件的存儲,也包括系統(tǒng)可靠性、可擴(kuò)展性和運(yùn)行速度、管理等,在這些課題推動下,海量數(shù)據(jù)存儲系統(tǒng)也從集中式發(fā)展到了分布式,以及后來的網(wǎng)格存儲與云存儲。Hadoop是一個可靠、高效、可伸縮的分布式系統(tǒng)基礎(chǔ)架構(gòu),并且是開源、跨平臺的,其出現(xiàn)大大推動了云技術(shù)、云存儲的研究,例如IBM[1]的新研究課題就是在Hadoop上建立新的存儲架構(gòu)。Hadoop還是一種新生的架構(gòu),雖然基于其的應(yīng)用已經(jīng)有不少,但是卻還遠(yuǎn)遠(yuǎn)算不上成熟,所以對其存在的不足的研究和優(yōu)化也存在巨大的空間。對Hadoop的研究對于企業(yè)和機(jī)構(gòu)來說,在設(shè)計初期需要一個對研究和設(shè)計成果進(jìn)行測試的平臺,而這些,顯然是不適合在實(shí)際的平臺上...

【文章頁數(shù)】：63 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖2-1云存儲服務(wù)與用戶接口雖然組成云的部件可能非常復(fù)雜，包括服務(wù)器、計算機(jī)、交換機(jī)、路由器、防火墻

圖2-1云存儲服務(wù)與用戶接口云的部件可能非常復(fù)雜，包括服務(wù)器、計算機(jī)、交換機(jī)、路由器、成員的型號、性能、接口和傳輸協(xié)議等都不一樣，但是對于用戶來，無關(guān)緊要的。用戶只需獲得這個云得使用權(quán)限，然后連接上這個既不需要刻意去建立容災(zāi)備份系統(tǒng)，也不需要關(guān)心軟件、硬件的升期的監(jiān)視和維護(hù)硬....

圖2-2云結(jié)構(gòu)四層模型

圖2-1云存儲服務(wù)與用戶接口部件可能非常復(fù)雜，包括服務(wù)器、計算機(jī)、交換機(jī)、路的型號、性能、接口和傳輸協(xié)議等都不一樣，但是對于關(guān)緊要的。用戶只需獲得這個云得使用權(quán)限，然后連接需要刻意去建立容災(zāi)備份系統(tǒng)，也不需要關(guān)心軟件、硬監(jiān)視和維護(hù)硬件的狀態(tài)，這些全部都可以交給云服務(wù)提型也是非....

圖2-3GFS架構(gòu)圖

華南理工大學(xué)碩士學(xué)位論文上只有一個，是整個集群的控制中心，存放了整個系統(tǒng)的元數(shù)據(jù)，并且所有元數(shù)據(jù)在內(nèi)存中，所以讀寫速度非�？欤籆hunkServer是系統(tǒng)數(shù)據(jù)的實(shí)際存放點(diǎn)，負(fù)責(zé)了的存儲工作，其數(shù)量也就是系統(tǒng)的規(guī)模；Client是一組專用的接口，以庫的形式封提供給應(yīng)用程序，用....

圖2-4HDFS架構(gòu)圖

圖2-4HDFS架構(gòu)圖在HDFS中使用了副本策略，提高了系統(tǒng)的容災(zāi)能力和性能。默認(rèn)情況下，HDF個數(shù)據(jù)塊準(zhǔn)備了3個副本，一個副本存放在本節(jié)點(diǎn)上，另外兩個副本分別存放在點(diǎn)同一機(jī)架的另一個節(jié)點(diǎn)上以及不同機(jī)架的另一個節(jié)點(diǎn)上。雖然理論上將副本均散在集群中可以簡單的實(shí)現(xiàn)負(fù)載均....

本文編號：3906400