本文選題：分布式文件系統(tǒng)　切入點：對象存儲　出處：《清華大學(xué)》2012年碩士論文　論文類型：學(xué)位論文

【摘要】：隨著互聯(lián)網(wǎng)的蓬勃發(fā)展，云計算的浪潮洶涌澎湃，越來越多的互聯(lián)網(wǎng)企業(yè)選擇將他們的業(yè)務(wù)遷入云中，伴隨業(yè)務(wù)的發(fā)展，研究人員發(fā)現(xiàn)來源于博客，社區(qū)，視頻網(wǎng)站，微博等數(shù)據(jù)密集型web2.0網(wǎng)絡(luò)應(yīng)用，會在應(yīng)用后臺產(chǎn)生數(shù)目龐大的小文件，而且隨著時間的推移，海量小文件的增長呈幾何級增長，同時，小文件的存儲訪問管理也帶來了諸如高并發(fā)，大流量，以及熱點不集中等問題，傳統(tǒng)的分布式文件系統(tǒng)如NAS等，并不能有效應(yīng)對這種海量增長的小文件服務(wù)應(yīng)用。 為了應(yīng)對海量小文件高并發(fā)，高頻度，大流量，以及存儲管理的問題，本文提出了基于對象存儲的分布式文件系統(tǒng)BerryStore的設(shè)計與實現(xiàn)。通過對Google，F(xiàn)aceBook，淘寶等公司提出的成熟的分布式文件系統(tǒng)解決方案的研究后，BerryStore結(jié)合了以上幾種方案的優(yōu)勢之處，通過采用對象存儲的方式將海量的小文件集合成大對象文件進(jìn)行存儲管理，，并在內(nèi)存中建立對象文件元數(shù)據(jù)索引的方式，減少了小文件訪問在系統(tǒng)中的IO開銷。我們進(jìn)一步利用Zookeeper設(shè)計并構(gòu)建集群的協(xié)調(diào)控制體系結(jié)構(gòu)，實現(xiàn)了對整個分布式系統(tǒng)進(jìn)行配置，狀態(tài)，數(shù)據(jù)同步以及管理的功能，避免了復(fù)雜的數(shù)據(jù)一致性訪問控制流程，簡化了整個存儲系統(tǒng)的復(fù)雜度，提高了該小文件系統(tǒng)的可靠性。 本文首先介紹目前主流的分布式文件系統(tǒng)在云計算平臺中的應(yīng)用現(xiàn)狀，并對若干經(jīng)典的架構(gòu)技術(shù)進(jìn)行了研究，在對比這些已有的方案之后，我們設(shè)計了應(yīng)對海量小文件存儲的一個系統(tǒng)方案，并在后面對方案進(jìn)行了詳細(xì)設(shè)計，對該原型系統(tǒng)進(jìn)行實現(xiàn)以及性能評測，并將其與之前我們所探討的已有方案進(jìn)行對比。最后我們對目前階段的工作進(jìn)行了總結(jié)并對未來工作進(jìn)行了展望。
[Abstract]:With the rapid development of the Internet, cloud computing is surging. More and more Internet enterprises choose to move their business into the cloud. With the development of business, researchers find that it comes from blogs, communities, video sites. Data-intensive web2.0 network applications such as Weibo will produce a large number of small files in the application background, and with the passage of time, the growth of massive small files will show a geometric growth, at the same time, Storage and access management of small files also brings problems such as high concurrency, large traffic, and not focusing on hot spots. Traditional distributed file systems, such as NAS, can not effectively cope with the huge growth of small file service applications. To deal with large numbers of small files with high concurrency, high frequency, large traffic, and storage management problems, This paper presents the design and implementation of distributed file system (BerryStore) based on object storage. By using the method of object storage, the large amount of small files are assembled into large object files for storage and management, and the object file metadata index is built in memory. We further use Zookeeper to design and construct the coordinated control architecture of the cluster, and realize the functions of configuration, state, data synchronization and management of the whole distributed system. The complex data consistency access control flow is avoided, the complexity of the whole storage system is simplified, and the reliability of the small file system is improved. This paper first introduces the current application status of the mainstream distributed file system in cloud computing platform, and studies some classical architecture technologies. After comparing these existing solutions, We design a system scheme to store large amount of small files, and then design the scheme in detail, implement the prototype system and evaluate the performance of the prototype system. Finally, we summarize the current stage of the work and look forward to the future work.
【學(xué)位授予單位】：清華大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2012
【分類號】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 張子鵬;劉海濤;管海兵;;采用信任管理的分布式文件系統(tǒng)TrustFs[J];計算機(jī)工程;2009年01期

2 陳建榮;傅黎;;Novell網(wǎng)絡(luò)環(huán)境下分布式文件系統(tǒng)的設(shè)計與實現(xiàn)[J];海軍工程大學(xué)學(xué)報;1993年03期

3 李相娜;曹強(qiáng);趙旺;魏沁祺;;加快分布式文件系統(tǒng)元數(shù)據(jù)訪問的研究與實現(xiàn)[J];微處理機(jī);2008年02期

4 劉偉;劉露;陳犖;鐘志農(nóng);;海量遙感影像數(shù)據(jù)存儲技術(shù)研究[J];計算機(jī)工程;2009年05期

5 何公明;張元濤;;面向數(shù)字媒體的高性能分布式存儲系統(tǒng)的研究與應(yīng)用[J];廣播電視信息;2009年10期

6 周建強(qiáng);薛行;徐希豪;楊培根;孫鐘秀;;分布式文件系統(tǒng)NDFS的設(shè)計和實現(xiàn)[J];計算機(jī)研究與發(fā)展;1990年07期

7 許春聰;黃小猛;吳諾;孫寧偉;楊廣文;;分布式文件系統(tǒng)存儲介質(zhì)評測與分析[J];計算機(jī)學(xué)報;2010年10期

8 張維慶,袁宏春;基于E-mail的分布式文件系統(tǒng)(MDFS)[J];福建電腦;2004年07期

9 黃華,張建剛,許魯;藍(lán)鯨分布式文件系統(tǒng)的分布式分層資源管理模型[J];計算機(jī)研究與發(fā)展;2005年06期

10 吳英;謝廣軍;劉t

本文編號：1593118