本文關(guān)鍵詞： Hadoop 負(fù)載均衡 云計(jì)算 云存儲　出處：《河南理工大學(xué)學(xué)報(bào)(自然科學(xué)版)》2013年03期 　論文類型：期刊論文

【摘要】：在介紹Hadoop,HDFS的原理的基礎(chǔ)上,分析了Hadoop的數(shù)據(jù)負(fù)載均衡算法.Hadoop負(fù)載均衡算法只是根據(jù)空間使用率對各個(gè)結(jié)點(diǎn)的負(fù)載進(jìn)行均衡,這種均衡方法沒有考慮結(jié)點(diǎn)的處理能力、帶寬、文件訪問頻度等因素,因此,造成了基本相同的文件的響應(yīng)時(shí)間存在很大的差別.提出了一種改進(jìn)的負(fù)載均衡的模型,該模型綜合了文件大小、文件并發(fā)訪問時(shí)間、文件訪問頻度、結(jié)點(diǎn)的處理能力、帶寬、結(jié)點(diǎn)的可用存儲空間等因素進(jìn)行負(fù)載均衡.試驗(yàn)結(jié)果表明,改進(jìn)模型不僅實(shí)現(xiàn)了存儲空間的負(fù)載均衡,而且使得同類文件的響應(yīng)時(shí)間更一致.
[Abstract]:On the basis of introducing the principle of Hadoop HDFS, this paper analyzes the data load balancing algorithm of Hadoop. Hadoop load balancing algorithm only balances the load of each node according to the space utilization rate. This balancing method does not consider the processing power and bandwidth of the node. The paper presents an improved load balancing model, which combines file size, file concurrent access time, and so on. The results of the experiment show that the improved model not only realizes load balancing of storage space, but also achieves load balance, such as file access frequency, processing power of nodes, bandwidth, available storage space of nodes, and other factors, such as file access frequency, processing capacity of nodes, bandwidth and available storage space. And make the response time of the same kind of file more consistent.
【作者單位】： 北京聯(lián)合大學(xué)應(yīng)用科技學(xué)院;吉林大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院;
【基金】：北京市教育委員會科技計(jì)劃面上項(xiàng)目(SQKM201211417008)
【分類號】：TP393.09

【參考文獻(xiàn)】

相關(guān)期刊論文 前4條

1 林偉偉;;一種改進(jìn)的Hadoop數(shù)據(jù)放置策略[J];華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年01期

2 谷國太;肖漢;;并行計(jì)算與并行處理技術(shù)的應(yīng)用研究[J];河南理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2009年05期

3 林偉偉;劉波;;基于動(dòng)態(tài)帶寬分配的Hadoop數(shù)據(jù)負(fù)載均衡方法[J];華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年09期

4 劉琨;肖琳;趙海燕;;Hadoop中云數(shù)據(jù)負(fù)載均衡算法的研究及優(yōu)化[J];微電子學(xué)與計(jì)算機(jī);2012年09期

【共引文獻(xiàn)】

相關(guān)期刊論文 前3條

1 武娟;黃海;錢鋒;李擁軍;壽質(zhì)彬;;基于多變量動(dòng)態(tài)算法的Hadoop負(fù)載均衡優(yōu)化與實(shí)現(xiàn)[J];電信科學(xué);2012年12期

2 林偉偉;劉波;;基于動(dòng)態(tài)帶寬分配的Hadoop數(shù)據(jù)負(fù)載均衡方法[J];華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年09期

3 王永洲;茅蘇;;HDFS中的一種數(shù)據(jù)放置策略[J];計(jì)算機(jī)技術(shù)與發(fā)展;2013年05期

相關(guān)碩士學(xué)位論文 前5條

1 張明志;基于DSP和FPGA的并行處理系統(tǒng)硬件設(shè)計(jì)[D];北京工業(yè)大學(xué);2011年

2 孫江;基于多核處理器的普適性報(bào)文捕獲技術(shù)研究[D];解放軍信息工程大學(xué);2011年

3 張興起;基于VPX標(biāo)準(zhǔn)和多核DSP陣列的信息處理平臺設(shè)計(jì)[D];天津大學(xué);2012年

4 王利賽;基于“云計(jì)算”的繼電保護(hù)整定系統(tǒng)的研究[D];華北電力大學(xué);2012年

5 孫洪波;OSS/BSS云部署中的分布式計(jì)算特點(diǎn)的研究及應(yīng)用[D];南京郵電大學(xué);2013年

【二級參考文獻(xiàn)】

相關(guān)期刊論文 前8條

1 林偉偉;齊德昱;劉波;;基于資源融合的網(wǎng)格任務(wù)調(diào)度模型與算法[J];華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2008年01期

2 林偉偉;;一種改進(jìn)的Hadoop數(shù)據(jù)放置策略[J];華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年01期

3 黃偉民,陸鑫達(dá),鐘嶸;更實(shí)際的異構(gòu)并行計(jì)算模型[J];計(jì)算機(jī)工程;1999年09期

4 欒亞建;黃爛，

本文編號：1514755