發(fā)布時間：2018-01-02 21:25

  本文關(guān)鍵詞：HDFS文件系統(tǒng)中元數(shù)據(jù)的高可用性管理方法研究　出處：《華南理工大學(xué)》2013年碩士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： 分布式存儲 HDFS 文件系統(tǒng) 元數(shù)據(jù) 高可用性

【摘要】：隨著全球互聯(lián)網(wǎng)的快速延伸和各行各業(yè)信息化技術(shù)的快速發(fā)展，各種數(shù)據(jù)信息量在本世紀(jì)開始以來的12年時間里已經(jīng)呈指數(shù)級的增長趨勢。傳統(tǒng)的存儲系統(tǒng)顯然已無法在存儲容量和數(shù)據(jù)存儲管理方面滿足海量數(shù)據(jù)存儲的需求，而分布式存儲系統(tǒng)恰好在存儲容量和數(shù)據(jù)存儲管理方面較好地彌補(bǔ)了傳統(tǒng)存儲技術(shù)的不足；因此，，分布式存儲系統(tǒng)技術(shù)已經(jīng)成為當(dāng)前計算機(jī)信息存儲技術(shù)領(lǐng)域內(nèi)的“熱點”研究方向。 分布式文件系統(tǒng)在分布式存儲系統(tǒng)中的作用非常重要，它是實現(xiàn)分布式存儲的核心技術(shù)，所以對分布式文件系統(tǒng)進(jìn)行研究有重要的現(xiàn)實意義。 HDFS文件系統(tǒng)是一個開源的分布式存儲文件系統(tǒng)，目前在分布式存儲系統(tǒng)中的應(yīng)用比較多。但是由于HDFS文件系統(tǒng)一般是將元數(shù)據(jù)存放在存儲系統(tǒng)中一個單獨的節(jié)點上，這種元數(shù)據(jù)布局方式給分布式存儲系統(tǒng)的I/O性能帶來了不利影響，另外單一節(jié)點還存在單點隱患問題，因此很難保障元數(shù)據(jù)管理的可用性和穩(wěn)定性。 針對以上問題，本文重點對HDFS文件系統(tǒng)中的元數(shù)據(jù)的高可用性管理方法進(jìn)行了比較深入的研究，論文作者所做的主要研究工作和取得的成果如下： 1、在分析和研究了HDFS元數(shù)據(jù)管理原理的基礎(chǔ)上，提出了一種HDFS文件系統(tǒng)中元數(shù)據(jù)的高可用性管理方案。 2、給出了一種業(yè)務(wù)節(jié)點與元數(shù)據(jù)節(jié)點通信的改進(jìn)方法。因為分布式存儲的一個重要特點就是元數(shù)據(jù)與業(yè)務(wù)數(shù)據(jù)分開管理，而元數(shù)據(jù)節(jié)點的結(jié)構(gòu)變化會引起業(yè)務(wù)數(shù)據(jù)節(jié)點的通信機(jī)制產(chǎn)生變化，所以改進(jìn)業(yè)務(wù)節(jié)點與元數(shù)據(jù)節(jié)點之間的通信方式非常重要。 3、設(shè)計了一個基于HDFS的雙節(jié)點元數(shù)據(jù)管理系統(tǒng)。該元數(shù)據(jù)管理系統(tǒng)包含了兩個并列的元數(shù)據(jù)節(jié)點，每個節(jié)點可以同時處理來自客戶端的請求，同時元數(shù)據(jù)節(jié)點之間可以實時進(jìn)行數(shù)據(jù)的一致性通信；當(dāng)某一節(jié)點失效時，存儲系統(tǒng)不需要進(jìn)行數(shù)據(jù)遷移仍然可以穩(wěn)定地對外進(jìn)行服務(wù)。 本文已將改進(jìn)后的HDFS文件系統(tǒng)應(yīng)用到了作者單位的“綜合平臺用戶行為分析引擎關(guān)鍵技術(shù)現(xiàn)場試驗”項目中，并與改進(jìn)前的HDFS進(jìn)行了完整的對比測試。測試數(shù)據(jù)表明改進(jìn)后的雙節(jié)點元數(shù)據(jù)管理系統(tǒng)在穩(wěn)定性方面效果比較明顯，它提升了整個HDFS文件系統(tǒng)的可用性和穩(wěn)定性。
[Abstract]:With the rapid development of the rapid extension of the global Internet and information technology in all walks of life, all kinds of data in 12 years since the beginning of this century there has been increasing exponentially. The traditional storage system obviously has not in the storage capacity and data storage management aspects to meet the massive data storage requirements, the distributed storage system just in the storage capacity and data storage management can make up the shortcomings of traditional storage technology; therefore, the distributed storage system technology has become the current computer information storage technology in the field of "hot spot" in the research direction.
Distributed file system plays a very important role in distributed storage system. It is the core technology to realize distributed storage. Therefore, the research of distributed file system has important practical significance.
The HDFS file system is a distributed storage file system is an open source, there are many applications in distributed storage system. But because the HDFS file system is stored in the metadata storage system in a single node, the metadata layout to bring a negative impact on the performance of I/O distributed storage system, in addition to a single node there is a single point problem, so it is difficult to guarantee the availability and stability of metadata management.
In view of the above problems, this paper focuses on the high availability management method of metadata in HDFS file system.
1, on the basis of analyzing and studying the principle of HDFS metadata management, a high availability management scheme for meta data in HDFS file system is proposed.
2, the improved method is a service node and metadata node communication. Because separate management is an important feature of distributed storage is the metadata and business data, and the communication mechanism of changes in the structure of metadata node will cause the business data node changes, so the improved means of communication between service nodes and metadata nodes is very important.
3, the design of a HDFS double point. The metadata management system based on metadata management system contains two parallel metadata nodes, each node can handle the request from the client, and the consistency of metadata node between the communication of real-time data; when a node fails, the system does not require data storage migration can still be stable in foreign service.
This paper has improved HDFS file system applied to the Department of "integrated platform user behavior analysis engine key technology field test project, and compared the complete test and improvement of the HDFS. The test data shows that two node metadata management system improved results in stability obviously, raise it the availability and stability of the HDFS file system.

【學(xué)位授予單位】：華南理工大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2013
【分類號】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前5條

1 蒙安泰;;分布式文件系統(tǒng)中元數(shù)據(jù)管理機(jī)制的研究[J];電腦知識與技術(shù);2011年35期

2 楊德志;許魯;張建剛;;藍(lán)鯨分布式文件系統(tǒng)元數(shù)據(jù)服務(wù)[J];計算機(jī)工程;2008年07期

3 趙躍龍;戴祖雄;王志剛;楊希;;一種智能網(wǎng)絡(luò)磁盤(IND)存儲系統(tǒng)結(jié)構(gòu)[J];計算機(jī)學(xué)報;2008年05期

4 徐永士;臧冬松;孫功星;;分布式文件元數(shù)據(jù)管理系統(tǒng)設(shè)計[J];計算機(jī)工程與應(yīng)用;2012年07期

5 李勝利,唐維,石柯,程斌,蒙廷友;高可用并行文件系統(tǒng)的分布式元數(shù)據(jù)管理[J];應(yīng)用科學(xué)學(xué)報;2005年03期

相關(guān)博士學(xué)位論文 前1條

1 劉丹;廣域網(wǎng)絡(luò)虛擬文件系統(tǒng)關(guān)鍵技術(shù)研究[D];電子科技大學(xué);2005年

相關(guān)碩士學(xué)位論文 前6條

1 李寬;基于HDFS的分布式Namenode節(jié)點模型的研究[D];華南理工大學(xué);2011年

2 張麗君;一種無主控制的云存儲架構(gòu)的研究[D];大連理工大學(xué);2011年

3 楊帆;Hadoop平臺高可用性方案的設(shè)計與實現(xiàn)[D];北京郵電大學(xué);2012年

4 戴寶龍;基于moosefs分布式文件系統(tǒng)的研究和應(yīng)用[D];北京郵電大學(xué);2011年

5 林凌;大規(guī)模分布式文件系統(tǒng)的研究與實現(xiàn)[D];福州大學(xué);2006年

6 欒亞建;分布式文件系統(tǒng)元數(shù)據(jù)管理研究與優(yōu)化[D];華南理工大學(xué);2010年

本文編號：1370978