本文關(guān)鍵詞：基于Hadoop的全分布式存儲架構(gòu)研究　出處：《西安電子科技大學(xué)》2013年碩士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： 云存儲 HDFS Namenode 單點失效 海量小文件存儲

【摘要】：隨著互聯(lián)網(wǎng)的飛速發(fā)展，人類已經(jīng)進入大數(shù)據(jù)時代，數(shù)據(jù)量呈現(xiàn)爆炸式的增長，云計算作為解決海量數(shù)據(jù)的有效手段也越來越受到人們重視。同時，云存儲作為云計算支撐性的底層服務(wù)也顯得越發(fā)重要。尤其是目前最為流行的開源分布式文件系統(tǒng)Hadoop Distributed File System (HDFS)，以其廉價、簡單易部署的特點成為各大企業(yè)的首選。但是由于其自身的一些缺陷制約了HDFS的應(yīng)用。 本文首先研究了目前幾種主流的分布式文件系統(tǒng)，分析了各自的特點，重點剖析了HDFS系統(tǒng)架構(gòu)及其運行機制。HDFS采用的是主從式的架構(gòu)，系統(tǒng)只有一個主節(jié)點，這種架構(gòu)容易造成單點失效和高并發(fā)訪問的性能瓶頸問題。本文針對這一問題，提出了一種去中心化全分布式架構(gòu)。該架構(gòu)通過將單個Namenode水平擴展為多個來解決單點失效問題。通過對元數(shù)據(jù)同步機制的深入研究，我們使用Secondary Namenode解決系統(tǒng)的元數(shù)據(jù)一致性問題。同時，文件采用讀寫分開的方式存儲，，對只讀性文件的存儲策略進行改進，采用一致性Hash存儲，將部分元數(shù)據(jù)隱藏在文件名中，從而降低內(nèi)存中的元數(shù)據(jù)量。同時采用文件偏移量而非固定分塊方式存儲文件位置，減小文件碎片。最后通過系統(tǒng)仿真，說明在可靠性、文件碎片、內(nèi)存元數(shù)據(jù)方面所提架構(gòu)比HDFS系統(tǒng)具有較大提升。
[Abstract]:With the rapid development of the Internet , human has entered the age of big data , the data volume presents explosive growth , and cloud computing is becoming more and more important as an effective means to solve the massive data . At the same time , cloud storage is becoming more and more important as an underlying service for cloud computing support . Especially , the most popular open source distributed file system Hadoop Distributed File System is the first choice for each big enterprise . However , because of its own defects , it has restricted its application . This paper first studied the current distributed file systems , analyzed their characteristics , analyzed the architecture and operating mechanism of the system . The architecture and the operating mechanism of the system were analyzed . In this paper , the problem of single point failure was solved by using the secondary Namenode to solve the problem of single point failure .

【學(xué)位授予單位】：西安電子科技大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2013
【分類號】：TP333

【參考文獻】

相關(guān)期刊論文 前5條

1 楊克戎;韓興順;;云計算與高校信息化建設(shè)中問題的解決方案[J];電腦知識與技術(shù);2009年20期

2 劉旭輝;韓冀中;賀勁;韓承德;;基于集群系統(tǒng)的空間數(shù)據(jù)并行處理策略研究[J];高技術(shù)通訊;2009年10期

3 史強;;GFS云存儲技術(shù)可靠性簡介[J];福建電腦;2012年01期

4 鄧青;王麗芳;蔣澤軍;;云存儲環(huán)境下的負(fù)載均衡策略研究[J];航空計算技術(shù);2011年06期

5 羅軍舟;金嘉暉;宋愛波;東方;;云計算:體系架構(gòu)與關(guān)鍵技術(shù)[J];通信學(xué)報;2011年07期

相關(guān)碩士學(xué)位論文 前3條

1 徐玲;CDN網(wǎng)絡(luò)中負(fù)載均衡的研究[D];上海交通大學(xué);2007年

2 鄧自立;云計算中的網(wǎng)絡(luò)拓?fù)湓O(shè)計和Hadoop平臺研究[D];中國科學(xué)技術(shù)大學(xué);2009年

3 欒亞建;分布式文件系統(tǒng)元數(shù)據(jù)管理研究與優(yōu)化[D];華南理工大學(xué);2010年

本文編號：1383819