【摘要】：分布式存儲系統(tǒng)是云計算領(lǐng)域的核心技術(shù)。隨著存儲即服務(wù)這一云計算商業(yè)模式的出現(xiàn)，云端存儲的數(shù)據(jù)量正在迅速增大，人們對數(shù)據(jù)安全、數(shù)據(jù)共享、數(shù)據(jù)管理等方面的要求也開始逐步提高。云存儲服務(wù)提供商的后臺正面臨著巨大的存儲壓力。元數(shù)據(jù)是分布式存儲系統(tǒng)中的一個概念，是描述所存儲數(shù)據(jù)命名空間和屬性的信息。由于元數(shù)據(jù)的性質(zhì)及其操作方式較普通數(shù)據(jù)復(fù)雜，對性能、并發(fā)性、安全性的要求極高，因此，對系統(tǒng)中元數(shù)據(jù)的管理一直是分布式存儲系統(tǒng)設(shè)計的重點和難點。 本文以自行開發(fā)的大規(guī)模分布式文件系統(tǒng)C-STORE為背景，詳細(xì)闡述了其元數(shù)據(jù)管理子系統(tǒng)的設(shè)計與實現(xiàn)。該子系統(tǒng)利用三層散列機(jī)制進(jìn)行架構(gòu)，將元數(shù)據(jù)分桶存儲并進(jìn)行負(fù)載均衡調(diào)度，使系統(tǒng)具備了較好的可擴(kuò)展性。在存儲上，元數(shù)據(jù)管理子系統(tǒng)充分利用了本地文件系統(tǒng)的高效特性，盡可能的提高各方面性能；在組織上，元數(shù)據(jù)基于用戶進(jìn)行隔離，為用戶的數(shù)據(jù)安全提供了保障。有效且完備的日志管理和同步被設(shè)計出來，滿足用戶多點登錄時文件系統(tǒng)的一致性需求。該子系統(tǒng)還引入了Master-Standby雙副本同步機(jī)制，保證了系統(tǒng)元數(shù)據(jù)的可用性。 元數(shù)據(jù)管理子系統(tǒng)通過C++在Linux環(huán)境下采用異步事件驅(qū)動這一高效網(wǎng)絡(luò)編程模型實現(xiàn)，，充分利用服務(wù)器的軟硬件資源，提升了系統(tǒng)的吞吐量。經(jīng)測試，元數(shù)據(jù)管理子系統(tǒng)可以充分滿足用戶對面向公有云存儲服務(wù)在元數(shù)據(jù)管理各方面的需求。在性能上，相較于當(dāng)前業(yè)界已經(jīng)十分成熟且廣泛使用的PVFS，優(yōu)勢明顯。
[Abstract]:Distributed storage system is the core technology in cloud computing. With the emergence of storage-as-a-service cloud computing business model, the amount of data stored in the cloud is increasing rapidly, and people's requirements for data security, data sharing, data management and so on are gradually increasing. Cloud storage service providers are facing enormous storage pressure behind the scenes. Metadata is a concept in distributed storage system, which describes the namespace and attributes of stored data. Because the nature and operation mode of metadata are more complex than ordinary data, the requirement of performance, concurrency and security is very high. Therefore, the management of metadata in the system has always been the focus and difficulty in the design of distributed storage system. Based on the large-scale distributed file system (C-STORE), this paper describes the design and implementation of metadata management subsystem in detail. The sub-system uses a three-layer hashing mechanism to implement the architecture of metadata storage and load balancing scheduling, which makes the system have better scalability. In storage, the metadata management subsystem makes full use of the efficient characteristics of the local file system to improve the performance of all aspects as far as possible; in the organization, metadata isolation is based on the user, which provides the security of the data of the user. Efficient and complete log management and synchronization are designed to meet the consistency requirements of the file system when users log in at multiple points. The sub-system also introduces Master-Standby dual copy synchronization mechanism to ensure the availability of the metadata of the system. The metadata management subsystem is realized by using asynchronous event-driven network programming model in Linux environment, which makes full use of the software and hardware resources of the server and improves the throughput of the system. After testing, the metadata management subsystem can fully meet the needs of users in metadata management for public cloud-oriented storage services. In terms of performance, compared with the current industry has been very mature and widely used of PVFS, advantages.
【學(xué)位授予單位】：電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2013
【分類號】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 全茜,鄭雪峰,黃克穎,李國慶;并行文件系統(tǒng)中高效遙感數(shù)據(jù)分布技術(shù)之研究[J];微計算機(jī)信息;2005年17期

2 虞海江;馬建剛;葉丹;李建峰;;基于發(fā)布訂閱模式的數(shù)據(jù)集成中間件系統(tǒng)設(shè)計實現(xiàn)[J];計算機(jī)系統(tǒng)應(yīng)用;2007年11期

3 周亞;;2001—2008年國內(nèi)元數(shù)據(jù)自動抽取研究綜述[J];科技情報開發(fā)與經(jīng)濟(jì);2009年23期

4 金均強(qiáng),王艷東,龔健雅;基于元數(shù)據(jù)的空間數(shù)據(jù)管理分發(fā)系統(tǒng)的設(shè)計與實現(xiàn)[J];測繪信息與工程;2005年05期

5 樊小泊;陳紅;;海量影像數(shù)據(jù)庫管理系統(tǒng)關(guān)鍵技術(shù)研究[J];計算機(jī)工程與應(yīng)用;2006年30期

6 孫素云;;基于元數(shù)據(jù)集成檢索系統(tǒng)的設(shè)計與實現(xiàn)[J];廣東輕工職業(yè)技術(shù)學(xué)院學(xué)報;2007年02期

7 高敏;黃樹桃;王樹紅;鐘霞;;高放廢物地質(zhì)處置元數(shù)據(jù)設(shè)計與編輯模塊開發(fā)[J];世界核地質(zhì)科學(xué);2010年03期

8 高峰;趙芳;;元數(shù)據(jù)技術(shù)在MDSS實時氣象數(shù)據(jù)庫系統(tǒng)建設(shè)中的應(yīng)用[J];氣象科技;2006年S1期

9 王良清;;關(guān)于建設(shè)省級地理空間數(shù)據(jù)交換中心的思考[J];現(xiàn)代測繪;2006年06期

10 葉國權(quán);寧洪;;元倉庫與源數(shù)據(jù)庫的元數(shù)據(jù)同步策略的研究與設(shè)計[J];現(xiàn)代電子技術(shù);2010年17期

相關(guān)會議論文 前10條

1 趙培翔;張銘;楊冬青;唐世渭;;數(shù)字化文檔元數(shù)據(jù)的自動提取[A];第二十屆全國數(shù)據(jù)庫學(xué)術(shù)會議論文集（研究報告篇）[C];2003年

2 沈衛(wèi)超;陳虹;夏芳;宋磊;;元數(shù)據(jù)管理系統(tǒng)的設(shè)計與實現(xiàn)[A];第15屆全國信息存儲技術(shù)學(xué)術(shù)會議論文集[C];2008年

3 陳勝鵬;邱文;;基于元數(shù)據(jù)的空間地理信息管理系統(tǒng)整合的研究與實現(xiàn)[A];中國測繪學(xué)會第九次全國會員代表大會暨學(xué)會成立50周年紀(jì)念大會論文集[C];2009年

4 薛小進(jìn);;辦公自動化系統(tǒng)的檔案管理子系統(tǒng)初探[A];機(jī)關(guān)檔案工作學(xué)術(shù)研討會交流論文集[C];2004年

5 張娣;;加快信息化建設(shè),提升公司能源管理水平[A];中國金屬學(xué)會2003中國鋼鐵年會論文集（3）[C];2003年

6 高峰;;實時氣象資料數(shù)據(jù)庫分系統(tǒng)[A];信息技術(shù)在氣象領(lǐng)域的開發(fā)應(yīng)用論文集（二）[C];2006年

7 王會娜;聶時貴;劉玫;;地理數(shù)據(jù)庫元數(shù)據(jù)標(biāo)準(zhǔn)框架的研究[A];'2005數(shù)字江蘇論壇——電子政務(wù)與地理信息技術(shù)論文專輯[C];2005年

8 王會娜;聶時貴;劉玫;;地理數(shù)據(jù)庫元數(shù)據(jù)標(biāo)準(zhǔn)框架的研究[A];'2005數(shù)字江蘇論壇電子政務(wù)與地理信息技術(shù)論文專輯[C];2005年

9 呂建剛;;淺談計算機(jī)輔助設(shè)備管理[A];第五屆設(shè)備管理第八屆設(shè)備潤滑與液壓學(xué)術(shù)會議論文集——《設(shè)備管理設(shè)備潤滑與液壓技術(shù)》[C];2004年

10 壽志勤;崇大志;;四庫建設(shè)中的元數(shù)據(jù)標(biāo)準(zhǔn)的確定與存儲實現(xiàn)[A];第11屆海峽兩岸信息管理發(fā)展策略研討會論文集[C];2005年

相關(guān)重要報紙文章 前10條

1 通訊員 王禮師;“電子眼”監(jiān)控檢測過瓊車輛[N];中國水運報;2007年

2 李三勝　呂建剛 張武平;臨汾：網(wǎng)上監(jiān)管藥品生產(chǎn)企業(yè)[N];中國醫(yī)藥報;2007年

3 區(qū)肇川;污染源管理子系統(tǒng)通過驗收[N];中山日報;2006年

4 趙旭;元數(shù)據(jù)管理的五種成熟度[N];計算機(jī)世界;2006年

5 ;分布式文件系統(tǒng)一瞥[N];網(wǎng)絡(luò)世界;2002年

6 記者 張若楷;華北戴爾特ERP項目第一期成功完成[N];中國新聞出版報;2006年

7 記者 宋向華;市財政一體化軟件正式啟用[N];呼和浩特日報(漢);2008年

8 記者 曾海科 通訊員 趙左;農(nóng)行推廣應(yīng)用CMS決策管理子系統(tǒng)[N];中國城鄉(xiāng)金融報;2005年

9 王春海 劉立;分布式文件系統(tǒng)在網(wǎng)絡(luò)中的應(yīng)用[N];電腦報;2004年

10 于彭;如何建立現(xiàn)代企業(yè)物流采購平臺[N];現(xiàn)代物流報;2006年

相關(guān)博士學(xué)位論文 前10條

1 趙鐵柱;分布式文件系統(tǒng)性能建模及應(yīng)用研究[D];華南理工大學(xué);2011年

2 萬繼光;集群多媒體存儲系統(tǒng)的數(shù)據(jù)組織研究[D];華中科技大學(xué);2007年

3 肖力墉;企業(yè)制造運行管理研究與應(yīng)用[D];浙江大學(xué);2011年

4 李彭軍;醫(yī)學(xué)影像云服務(wù)平臺基礎(chǔ)架構(gòu)研究與實踐[D];南方醫(yī)科大學(xué);2011年

5 李鵬飛;液壓重載車遠(yuǎn)程運行管理及安全對策研究[D];燕山大學(xué);2011年

6 金燕;基于神經(jīng)網(wǎng)絡(luò)和機(jī)器視覺的南方葡萄專家系統(tǒng)研究[D];湖南農(nóng)業(yè)大學(xué);2009年

7 南凱;面向關(guān)系型數(shù)據(jù)共享的數(shù)據(jù)網(wǎng)格中間件研究[D];中國科學(xué)院研究生院（計算技術(shù)研究所）;2006年

8 王曉蕊;華北克拉通地球化學(xué)科學(xué)數(shù)據(jù)的管理及應(yīng)用研究[D];中國地質(zhì)大學(xué);2008年

9 柴勝;空間資源中信息語義注冊與檢索相關(guān)技術(shù)研究[D];吉林大學(xué);2008年

10 付玉;資源加工與生物工程學(xué)術(shù)信息服務(wù)系統(tǒng)的研究與構(gòu)建[D];中南大學(xué);2008年

相關(guān)碩士學(xué)位論文 前10條

1 詹文翰;大規(guī)模分布式文件系統(tǒng)元數(shù)據(jù)管理子系統(tǒng)的設(shè)計與實現(xiàn)[D];電子科技大學(xué);2013年

2 李武;面向現(xiàn)代服務(wù)業(yè)的大規(guī)模分布式文件存儲系統(tǒng)設(shè)計和實現(xiàn)[D];浙江大學(xué);2008年

3 劉智;綜合網(wǎng)管系統(tǒng)中配置管理子系統(tǒng)的分析與設(shè)計[D];北京郵電大學(xué);2010年

4 袁毅;藥品集中采購系統(tǒng)的設(shè)計與實現(xiàn)[D];電子科技大學(xué);2010年

5 楊苗;銀行運鈔押運控制管理系統(tǒng)的設(shè)計與實現(xiàn)[D];山東大學(xué);2010年

6 延婭妮;基于RDF語義元數(shù)據(jù)的構(gòu)件動態(tài)組裝系統(tǒng)[D];北京郵電大學(xué);2008年

7 任廣治;基于元數(shù)據(jù)的氣象信息共享平臺的設(shè)計與實現(xiàn)[D];山東大學(xué);2008年

8 李方偉;基于元數(shù)據(jù)的教育資源非結(jié)構(gòu)化數(shù)據(jù)組織管理[D];內(nèi)蒙古大學(xué);2008年

9 張波;HDFS下文件存儲研究與優(yōu)化[D];廣東工業(yè)大學(xué);2013年

10 郭健;科技期刊開放存取的研究與實現(xiàn)[D];吉林大學(xué);2007年

本文編號：2441565