本文關(guān)鍵詞： Hadoop Hadoop分布式文件系統(tǒng) 節(jié)能 規(guī)模調(diào)整 緩存　出處：《計(jì)算機(jī)工程與應(yīng)用》2017年24期 　論文類型：期刊論文

【摘要】：根據(jù)谷歌數(shù)據(jù)中心研究報(bào)告,傳統(tǒng)數(shù)據(jù)中心存在高能耗、低利用率的問題。通過研究集群數(shù)據(jù)塊訪問規(guī)律,提出一種基于集群規(guī)模調(diào)整的Hadoop分布式文件系統(tǒng)(HDFS)節(jié)能存儲策略,實(shí)現(xiàn)HDFS高效節(jié)能存儲。策略主要在集群區(qū)域劃分、數(shù)據(jù)塊遷移策略優(yōu)化、緩存機(jī)制等方面作出了改進(jìn)。實(shí)驗(yàn)結(jié)果表明:使用該節(jié)能策略的HDFS比傳統(tǒng)HDFS節(jié)能35%～40%,其中0.3%的訪問需要喚醒服務(wù)器,同時(shí)引入緩存策略對集群的性能提高了5.1%。
[Abstract]:According to the research report of Google data Center, the traditional data center has the problems of high energy consumption and low utilization ratio. By studying the rules of cluster data block access, this paper proposes an energy-saving storage strategy for Hadoop distributed file system (HDFS) based on cluster size adjustment. The strategy is mainly divided into cluster areas, and the data block migration strategy is optimized. The experimental results show that the HDFS using this strategy saves 35 times more energy than the traditional HDFS, and 0.3% of the access needs to wake up the server, and the performance of the cluster is improved by 5.1 by introducing the cache policy.
【作者單位】： 重慶大學(xué)計(jì)算機(jī)學(xué)院;信息物理社會可信服務(wù)計(jì)算教育部重點(diǎn)實(shí)驗(yàn)室;
【基金】：國家高技術(shù)研究發(fā)展計(jì)劃(863)(No.2015AA015308) 中央高校業(yè)務(wù)基金項(xiàng)目(No.106112014CDJZR188801) 國家自然科學(xué)基金(No.61402020) 重慶市教育委員會重慶市研究生教育優(yōu)質(zhì)課程(No.201507)
【分類號】：TP333

【相似文獻(xiàn)】

相關(guān)碩士學(xué)位論文 前1條

1 陳浩;基于集群規(guī)模調(diào)整的節(jié)能存儲策略研究[D];重慶大學(xué);2016年

，

本文編號：1497107