本文關鍵詞：基于HDFS默認副本選擇機制的改進和實現(xiàn)　出處：《北京交通大學》2017年碩士論文　論文類型：學位論文

  更多相關文章： HDFS 副本選擇 心跳機制 負載均衡

【摘要】：隨著人類社會快速的發(fā)展,人們日常生活產生了海量數(shù)據(jù),傳統(tǒng)的數(shù)據(jù)處理方法已不適合海量數(shù)據(jù)的分析處理,Hadoop應運而生。Hadoop有兩個最核心的組成部分,分別是MapReduce和HDFS。MapReduce具有處理分析海量數(shù)據(jù)的能力,HDFS具有存儲和管理海量數(shù)據(jù)的能力。HDFS的副本選擇機制直接影響著數(shù)據(jù)的可靠性、可用性、均衡性和讀取效率。由于HDFS默認副本選擇機制選擇副本的存放位置具有一定的隨機性且未充分考慮數(shù)據(jù)節(jié)點的負載狀況,進而出現(xiàn)HDFS數(shù)據(jù)分布不均勻和Hadoop集群負載不均衡等問題,本文對HDFS的默認副本選擇機制進行改進和實現(xiàn),主要包含以下方面:首先,本文提出根據(jù)數(shù)據(jù)節(jié)點當前的CPU使用率、內存使用率、磁盤IO使用率、磁盤使用率以及帶寬使用率五個因素綜合描述其在集群中的負載狀況,這五個因素為數(shù)據(jù)節(jié)點負載狀況的量化打下了基礎。根據(jù)每種因素對數(shù)據(jù)節(jié)點負載影響的大小賦予其不同的權重值,量化數(shù)據(jù)節(jié)點負載狀況的數(shù)值。其次,本文剖析DataNode到NameNode周期性心跳機制的原理,改進的副本選擇機制利用心跳機制將影響數(shù)據(jù)節(jié)點負載的因素匯報給NameNode,使NameNode掌握整個集群數(shù)據(jù)節(jié)點的負載狀況。通過對HDFS默認副本選擇機制的分析,針對其存在的缺陷,根據(jù)每個數(shù)據(jù)節(jié)點、機架的負載狀況以及集群中所有數(shù)據(jù)節(jié)點的平均負載狀況,提出了對HDFS默認副本選擇機制的改進方法。最后,編譯修改后的HDFS源代碼,搭建Hadoop集群環(huán)境,以本文改進的HDFS副本選擇機制分別對低于三副本、三副本和大于三副本進行實驗。經實驗結果分析,表明改進的HDFS副本選擇機制能夠依據(jù)數(shù)據(jù)節(jié)點的負載狀況選擇最佳的副本存放位置,保證了數(shù)據(jù)的可靠性、可用性,均衡了數(shù)據(jù)在集群中的分布,提高了數(shù)據(jù)讀寫速度,改善了集群的負載均衡。
[Abstract]:With the rapid development of human society, the massive data of daily life, the traditional data processing methods is not suitable for the analysis of massive data processing, Hadoop.Hadoop comes with two of the most important core part, namely MapReduce and HDFS.MapReduce has the processing capability of huge amounts of data, a copy of HDFS has the ability to store and manage the massive data the.HDFS selection mechanism directly affects the reliability of data, availability, balance and reading efficiency. Because HDFS is the default copy selection mechanism selects the location with the copy machine and did not fully consider the load status of certain data nodes, and HDFS data distribution and Hadoop load imbalance problem, this paper the HDFS default replica selection mechanism for the improvement and implementation, mainly includes the following aspects: firstly, this paper according to the node The current CPU usage, memory usage, disk IO usage, disk usage and bandwidth utilization rate of five factors described in the cluster load conditions, the five factors for quantitative data node load of foundation. According to the influence of each factor on the size of the given node load data the different weights, numerical quantitative data of the node load. Secondly, this paper analyzes the principle of NameNode DataNode to the periodic heartbeat mechanism, improved replica selection mechanism using heartbeat mechanism will affect the reporting data to the NameNode node load factor, load condition to make NameNode master the entire cluster of data nodes. Through the analysis of the HDFS default replica selection the mechanism of the defects, according to each data node, the average load of all nodes and load data frame in the cluster, put forward to HDF The improved method of S default replica selection mechanism. Finally, the modified HDFS compiler source code, build Hadoop cluster environment, HDFS replica selection mechanism to the improved of less than three copies, three copies and more than three copies of the experiment. By the analysis of experimental results, show that the improved HDFS copy selection mechanism according to the data of nodes the load status of selecting the best replica location, to ensure the reliability of data, availability, balance the distribution of data in the cluster, improve the speed of reading and writing data, improve the cluster load balancing.

【學位授予單位】：北京交通大學
【學位級別】：碩士
【學位授予年份】：2017
【分類號】：TP333;TP393.09

【相似文獻】

相關期刊論文 前10條

1 王先甲,匡小新;決策科學化與民主化的選擇機制[J];科技進步與對策;2000年11期

2 羅云峰;基于相容信息的社會選擇機制設計[J];科技進步與對策;2002年06期

3 張國華;黃煙波;;一種基于信譽的雙向選擇機制[J];計算機應用;2009年03期

4 謝覓之;;論大眾媒介與文化選擇機制[J];新聞界;2009年02期

5 周國強;曾慶凱;;基于選擇機制的實體間最信任路徑發(fā)現(xiàn)方法[J];北京工業(yè)大學學報;2010年05期

6 江海f;董平;秦雅娟;張宏科;張思東;;一種基于帶寬估計的動態(tài)接入鏈路選擇機制的研究與實現(xiàn)[J];鐵道學報;2010年03期

7 賈維紅;;計算機技術發(fā)展迅速的原因分析[J];黑龍江科學;2014年02期

8 鄭秀峰;;區(qū)域限制下同質企業(yè)選擇機制探討——基于生態(tài)學視角的思考[J];經濟與管理研究;2006年10期

9 陳皓;崔杜武;;族群進化算法的選擇機制[J];計算機工程;2010年03期

10 申鴻燁;周東輝;王海深;郭曉淳;李維田;富鈺;;流媒體鏡像節(jié)點庫選擇機制的研究與實現(xiàn)[J];遼寧高職學報;2009年02期

相關會議論文 前1條

1 莫純歡;石純一;史忠植;陳青;周代琪;;進化算法中的各種選擇機制的分析和比較[A];信息科學與微電子技術:中國科協(xié)第三屆青年學術年會論文集[C];1998年

相關重要報紙文章 前3條

1 趙振華;構建和諧企業(yè)與市場選擇機制[N];中國石油報;2007年

2 大為;三大門戶再融資與資本選擇機制[N];中國石化報;2004年

3 劉平青 胡遲;企業(yè)家亞健康的雙重選擇機制[N];中國企業(yè)報;2005年

相關碩士學位論文 前7條

1 劉娜娜;面向協(xié)同提供的云服務選擇機制研究[D];河南科技大學;2015年

2 趙磊;基于HDFS默認副本選擇機制的改進和實現(xiàn)[D];北京交通大學;2017年

3 宋國慶;轉型時期農村勞動力就業(yè)選擇機制研究[D];華南師范大學;2005年

4 田馳;國有企業(yè)經營者選擇機制研究[D];遼寧工程技術大學;2005年

5 白鑫茹;一種分級移動IPv6的MAP選擇機制[D];華南理工大學;2013年

6 柳斌;基于SDN的WLAN接入技術研究[D];北京郵電大學;2014年

7 韓嘯;刑法的價值選擇機制[D];東北師范大學;2011年

，

本文編號：1394420