發(fā)布時(shí)間：2018-11-29 11:07

【摘要】：當(dāng)集群中的部分節(jié)點(diǎn)是廉價(jià)主機(jī)時(shí),采用HDFS的隨機(jī)存儲(chǔ)策略可能使訪(fǎng)問(wèn)頻率高的數(shù)據(jù)存儲(chǔ)在廉價(jià)節(jié)點(diǎn)上,受到廉價(jià)節(jié)點(diǎn)的性能影響,訪(fǎng)問(wèn)時(shí)間過(guò)長(zhǎng),降低了集群效率。為改善以上問(wèn)題,提出一種改進(jìn)的副本分級(jí)存儲(chǔ)調(diào)度策略。為減少副本調(diào)度的次數(shù),先根據(jù)節(jié)點(diǎn)的CPU、內(nèi)存、網(wǎng)絡(luò)、存儲(chǔ)負(fù)載以及網(wǎng)絡(luò)距離來(lái)評(píng)價(jià)節(jié)點(diǎn)的性能,再?gòu)闹羞x取高性能節(jié)點(diǎn)進(jìn)行存儲(chǔ)。副本調(diào)度以節(jié)點(diǎn)中副本的訪(fǎng)問(wèn)頻率為依據(jù),結(jié)合硬件配置,把訪(fǎng)問(wèn)頻率高的副本盡可能存儲(chǔ)在高性能、高配置的節(jié)點(diǎn)中,以加快集群響應(yīng)速度。實(shí)驗(yàn)結(jié)果表明,改進(jìn)后的策略可以在異構(gòu)集群中提高副本的訪(fǎng)問(wèn)效率,優(yōu)化負(fù)載均衡。
[Abstract]:When some of the nodes in the cluster are cheap hosts, the random storage strategy of HDFS may cause the data with high access frequency to be stored on the cheap node, which is affected by the performance of the cheap node, and the access time is too long, which reduces the efficiency of the cluster. In order to improve the above problems, an improved replica hierarchical storage scheduling strategy is proposed. In order to reduce the number of replica scheduling, the performance of nodes is evaluated according to the CPU, memory, network, storage load and network distance of nodes, and then high performance nodes are selected for storage. The replica scheduling is based on the access frequency of the replica in the node. Combined with the hardware configuration, the replica with high access frequency is stored in the high performance and high configuration node as far as possible, so as to accelerate the cluster response speed. The experimental results show that the improved strategy can improve the access efficiency of replicas and optimize load balancing in heterogeneous clusters.
【作者單位】： 北方工業(yè)大學(xué)云計(jì)算研究中心;大規(guī)模流數(shù)據(jù)集成與分析技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室;
【基金】：北京市教育委員會(huì)科技計(jì)劃重點(diǎn)項(xiàng)目:支持?jǐn)?shù)據(jù)資源聯(lián)動(dòng)的云服務(wù)社區(qū)研究(KZ201310009009) 北京市屬高等學(xué)校創(chuàng)新團(tuán)隊(duì)建設(shè)與教師職業(yè)發(fā)展計(jì)劃基金資助項(xiàng)目(IDHT20130502)資助
【分類(lèi)號(hào)】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前4條

1 任川;楊冬菊;;基于云存儲(chǔ)的二階段動(dòng)態(tài)優(yōu)化調(diào)度機(jī)制[J];計(jì)算機(jī)與數(shù)字工程;2014年09期

2 羅鵬;龔勛;;HDFS數(shù)據(jù)存放策略的研究與改進(jìn)[J];計(jì)算機(jī)工程與設(shè)計(jì);2014年04期

3 陶永才;石磊;;異構(gòu)資源環(huán)境下的MapReduce性能優(yōu)化[J];小型微型計(jì)算機(jī)系統(tǒng);2013年02期

4 陳康;鄭緯民;;云計(jì)算:系統(tǒng)實(shí)例與研究現(xiàn)狀[J];軟件學(xué)報(bào);2009年05期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 何佩聰;黃汝維;陳寧江;趙搏文;劉洋;;云環(huán)境中基于cache負(fù)載實(shí)時(shí)定噪的同駐分析方法[J];計(jì)算機(jī)科學(xué);2017年05期

2 李聯(lián)輝;呂碩;曹富宏;張立;;考慮專(zhuān)家權(quán)重的包裝企業(yè)云服務(wù)供應(yīng)商綜合評(píng)估[J];包裝工程;2017年09期

3 王治東;;云計(jì)算環(huán)境下任務(wù)調(diào)度研究綜述[J];中國(guó)新通信;2017年09期

4 陳標(biāo)宗;;云計(jì)算平臺(tái)上的數(shù)據(jù)管理技術(shù)與應(yīng)用[J];電腦知識(shí)與技術(shù);2017年08期

5 張少輝;王大羽;韓秋英;;云環(huán)境下利用混合成本模型的作業(yè)調(diào)度方法[J];控制工程;2017年04期

6 楊冬菊;李青;;存儲(chǔ)中的副本分級(jí)存儲(chǔ)調(diào)度策略[J];計(jì)算機(jī)科學(xué);2017年04期

7 楊臣君;張欣;楊卓東;;基于Hadoop的交通數(shù)據(jù)分析系統(tǒng)[J];電子科技;2017年04期

8 徐達(dá)飛;;基于云計(jì)算的網(wǎng)絡(luò)安全評(píng)估[J];網(wǎng)絡(luò)安全技術(shù)與應(yīng)用;2017年04期

9 徐燕芬;姜仕軍;趙婧;;軌道車(chē)輛車(chē)載設(shè)備健康數(shù)據(jù)云管理服務(wù)平臺(tái)設(shè)計(jì)實(shí)現(xiàn)方法[J];鐵道車(chē)輛;2017年04期

10 史振霞;趙鵬飛;;應(yīng)用智能監(jiān)控技術(shù),提升“云”環(huán)境運(yùn)維管理水平[J];甘肅科技縱橫;2017年03期

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前9條

1 王健宗;諶炎俊;謝長(zhǎng)生;;面向云存儲(chǔ)的I/O資源效用優(yōu)化調(diào)度算法研究[J];計(jì)算機(jī)研究與發(fā)展;2013年08期

2 陶永才;石磊;;異構(gòu)資源環(huán)境下的MapReduce性能優(yōu)化[J];小型微型計(jì)算機(jī)系統(tǒng);2013年02期

3 王意潔;孫偉東;周松;裴曉強(qiáng);李小勇;;云計(jì)算環(huán)境下的分布存儲(chǔ)關(guān)鍵技術(shù)[J];軟件學(xué)報(bào);2012年04期

4 周敬利;周正達(dá);;改進(jìn)的云存儲(chǔ)系統(tǒng)數(shù)據(jù)分布策略[J];計(jì)算機(jī)應(yīng)用;2012年02期

5 林偉偉;;一種改進(jìn)的Hadoop數(shù)據(jù)放置策略[J];華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年01期

6 徐婧;楊壽保;王淑玲;劉曉茜;;CDRS:云存儲(chǔ)中一種代價(jià)驅(qū)動(dòng)的自適應(yīng)副本策略[J];中國(guó)科學(xué)院研究生院學(xué)報(bào);2011年06期

7 陳康;鄭緯民;;云計(jì)算:系統(tǒng)實(shí)例與研究現(xiàn)狀[J];軟件學(xué)報(bào);2009年05期

8 徐志偉;廖華明;余海燕;查禮;;網(wǎng)絡(luò)計(jì)算系統(tǒng)的分類(lèi)研究[J];計(jì)算機(jī)學(xué)報(bào);2008年09期

9 左翠華;盧正鼎;李瑞軒;;針對(duì)負(fù)載均衡的P2P動(dòng)態(tài)副本策略[J];小型微型計(jì)算機(jī)系統(tǒng);2007年11期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王];鄭樹(shù)琴;;調(diào)度策略在并行機(jī)調(diào)度仿真的應(yīng)用[J];機(jī)械管理開(kāi)發(fā);2013年01期

2 王浩,鐘玉琢;一種新的基于流合并的調(diào)度策略[J];計(jì)算機(jī)學(xué)報(bào);2001年03期

3 張麗曉,袁立強(qiáng),徐煒民;基于任務(wù)類(lèi)型的集群調(diào)度策略[J];計(jì)算機(jī)工程;2004年13期

4 寧凝;錢(qián)省三;孟志雷;;帶有工藝約束的并行多機(jī)調(diào)度策略[J];工業(yè)工程;2008年02期

5 劉宴兵;李秉智;幸云輝;;寬帶路由器輸入排隊(duì)調(diào)度策略的綜合研究[J];計(jì)算機(jī)科學(xué);2002年03期

6 楊祥茂;譚曦;;基于網(wǎng)絡(luò)資源消費(fèi)者模型的調(diào)度策略[J];計(jì)算機(jī)科學(xué);2003年09期

7 黃敏;姚正林;劉金剛;;網(wǎng)絡(luò)QoS調(diào)度策略的分析與研究[J];計(jì)算機(jī)工程與應(yīng)用;2006年29期

8 方泳;袁召云;;環(huán)行穿梭車(chē)調(diào)度策略的仿真研究[J];物流技術(shù)與應(yīng)用;2012年04期

9 胡敏,陶洋;基于網(wǎng)絡(luò)配置管理的調(diào)度策略分析[J];數(shù)字通信;1999年04期

10 王振凱,劉斌,徐光yP;核心無(wú)狀態(tài)虛擬時(shí)鐘調(diào)度策略[J];清華大學(xué)學(xué)報(bào)(自然科學(xué)版);2003年01期

相關(guān)會(huì)議論文 前10條

1 胡子敬;李紅燕;;一種資源共享情況下的連續(xù)查詢(xún)算子調(diào)度策略[A];第二十一屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2004年

2 林志紅;;照口水電廠優(yōu)化調(diào)度策略的分析[A];福建省科學(xué)技術(shù)協(xié)會(huì)第八屆學(xué)術(shù)年會(huì)分會(huì)場(chǎng)——提高水電站水庫(kù)調(diào)度技術(shù) 推進(jìn)海西經(jīng)濟(jì)建設(shè)研討會(huì)論文集[C];2008年

3 黃錦濤;何加銘;陳平;賈德祥;;基于移動(dòng)中間件抽象層調(diào)度策略研究[A];浙江省電子學(xué)會(huì)2010學(xué)術(shù)年會(huì)論文集[C];2010年

4 王冰;谷寒雨;席裕庚;;大規(guī)模單機(jī)靜態(tài)調(diào)度的終端約束滾動(dòng)策略[A];第二十二屆中國(guó)控制會(huì)議論文集（下）[C];2003年

5 趙千川;鄭大鐘;;一類(lèi)HDS的事件反饋型最優(yōu)調(diào)度策略[A];1996年中國(guó)控制會(huì)議論文集[C];1996年

6 趙千川;鄭大鐘;;CLB調(diào)度策略的性能估計(jì)[A];1998年中國(guó)控制會(huì)議論文集[C];1998年

7 方劍;席裕庚;;動(dòng)態(tài)環(huán)境下的Job Shop周期性滾動(dòng)調(diào)度策略[A];1996中國(guó)控制與決策學(xué)術(shù)年會(huì)論文集[C];1996年

8 淡圖南;朱立平;顏紀(jì)迅;;一種基于時(shí)間觸發(fā)的安全關(guān)鍵操作系統(tǒng)混合調(diào)度策略[A];全面建成小康社會(huì)與中國(guó)航空發(fā)展——2013首屆中國(guó)航空科學(xué)技術(shù)大會(huì)論文集[C];2013年

9 郭紅星;彭嘉麗;盛濤;田婷;張愛(ài)華;;無(wú)線(xiàn)多用戶(hù)視頻流中支持內(nèi)容感知的包調(diào)度策略[A];第四屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議論文集[C];2008年

10 李茂增;王丹;杜東明;;一種數(shù)據(jù)流查詢(xún)操作符的調(diào)度策略[A];第二十四屆中國(guó)數(shù)據(jù)庫(kù)學(xué)術(shù)會(huì)議論文集（技術(shù)報(bào)告篇）[C];2007年

相關(guān)重要報(bào)紙文章 前1條

1 戈;國(guó)華集群負(fù)載優(yōu)化系統(tǒng)具備八項(xiàng)功能[N];電腦商報(bào);2007年

相關(guān)博士學(xué)位論文 前8條

1 周瀏陽(yáng);網(wǎng)絡(luò)控制系統(tǒng)中調(diào)度策略的設(shè)計(jì)與延時(shí)的處理[D];哈爾濱工業(yè)大學(xué);2015年

2 Rabee Furkan Hassan Saleh;[D];電子科技大學(xué);2015年

3 張曄;基于模塊的調(diào)度策略及其對(duì)多處理器系統(tǒng)的支持[D];中國(guó)科學(xué)技術(shù)大學(xué);2009年

4 曾碧卿;分布式計(jì)算中并行I/O調(diào)度策略研究[D];中南大學(xué);2005年

5 何忠賀;切換服務(wù)網(wǎng)絡(luò)的穩(wěn)定性及交通信號(hào)控制應(yīng)用[D];北京工業(yè)大學(xué);2013年

6 王文樂(lè);基于替代/補(bǔ)償?shù)膶?shí)時(shí)事務(wù)處理策略研究[D];江西財(cái)經(jīng)大學(xué);2013年

7 王書(shū)舉;車(chē)輛控制系統(tǒng)局域網(wǎng)絡(luò)（CAN）調(diào)度策略研究[D];東北大學(xué);2011年

8 張金藝;可重構(gòu)SoC DFT架構(gòu)與TLB測(cè)試調(diào)度策略研究[D];上海大學(xué);2009年

相關(guān)碩士學(xué)位論文 前10條

1 丁富淮;嵌入式Linux系統(tǒng)的二級(jí)調(diào)度策略?xún)?yōu)化技術(shù)及應(yīng)用[D];蘇州大學(xué);2015年

2 成先鏡;公共自行車(chē)兩階段調(diào)度策略與模型及求解方法研究[D];南京師范大學(xué);2015年

3 趙金濤;虛擬單元制造中考慮隨機(jī)擾動(dòng)的多級(jí)動(dòng)態(tài)穩(wěn)健調(diào)度策略研究[D];江蘇科技大學(xué);2015年

4 張晏;OpenStack的拓?fù)淇梢暬O(jiān)控技術(shù)研究與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

5 殷洪海;云環(huán)境下基于改進(jìn)蟻群算法的資源調(diào)度策略[D];電子科技大學(xué);2014年

6 王潤(rùn)澤;CPU與GPU混合虛擬化資源高效調(diào)度策略[D];上海交通大學(xué);2015年

7 童毅;基于MapReduce模型的云平臺(tái)調(diào)度策略?xún)?yōu)化研究[D];南京郵電大學(xué);2015年

8 蘇孝明;考慮大規(guī)模間歇性能源接入的調(diào)度策略研究[D];華北電力大學(xué);2015年

9 王炳旭;基于IaaS云平臺(tái)的Hadoop資源調(diào)度策略研究[D];北京交通大學(xué);2016年

10 薛娜;復(fù)合加權(quán)調(diào)度算法在IaaS層中的穩(wěn)定性?xún)?yōu)化研究[D];昆明理工大學(xué);2016年

，

本文編號(hào)：2364825