【摘要】：大部分存儲(chǔ)集群構(gòu)建時(shí)可能包含有遺留設(shè)備及新購(gòu)置設(shè)備,這些設(shè)備在存儲(chǔ)性能方面存在較大差異.采用HDFS默認(rèn)的機(jī)架感知存儲(chǔ)策略時(shí),可能使訪(fǎng)問(wèn)頻率高的數(shù)據(jù)存儲(chǔ)在低性能節(jié)點(diǎn)上,而訪(fǎng)問(wèn)頻率低的數(shù)據(jù)存儲(chǔ)在高性能節(jié)點(diǎn)上,既影響集群響應(yīng)時(shí)間,又降低了資源利用率.針對(duì)以上問(wèn)題,提出一種分級(jí)存儲(chǔ)調(diào)度機(jī)制.在HDFS機(jī)架感知調(diào)度策略基礎(chǔ)上,首先根據(jù)節(jié)點(diǎn)的CPU、內(nèi)存大小、磁盤(pán)大小、磁盤(pán)I/O等固有硬件性能將節(jié)點(diǎn)劃分為高配置節(jié)點(diǎn)和低配置節(jié)點(diǎn),其次根據(jù)節(jié)點(diǎn)的CPU使用率、內(nèi)存使用率、網(wǎng)絡(luò)帶寬使用率、磁盤(pán)使用率等性能的動(dòng)態(tài)因素建立節(jié)點(diǎn)的性能評(píng)價(jià)模型,并建立三個(gè)性能級(jí)別.根據(jù)節(jié)點(diǎn)配置情況、性能級(jí)別及網(wǎng)絡(luò)位置等多方面因素進(jìn)行綜合調(diào)度.同時(shí)在集群運(yùn)行過(guò)程中,會(huì)根據(jù)數(shù)據(jù)的訪(fǎng)問(wèn)頻率對(duì)數(shù)據(jù)塊的分布進(jìn)行動(dòng)態(tài)調(diào)整.實(shí)驗(yàn)結(jié)果表明,本文提出的分級(jí)存儲(chǔ)調(diào)度機(jī)制可以在HDFS異構(gòu)集群中提高數(shù)據(jù)的訪(fǎng)問(wèn)效率,優(yōu)化集群性能.
[Abstract]:Most storage cluster builds may include legacy devices and newly acquired devices, which differ greatly in storage performance. When the HDFS default rack aware storage strategy is adopted, the data with high access frequency may be stored on the low performance node, while the data with low access frequency will be stored on the high performance node, which will not only affect the cluster response time, but also reduce the resource utilization rate. Aiming at the above problems, a hierarchical storage scheduling mechanism is proposed. Based on the HDFS rack aware scheduling strategy, the nodes are divided into high configuration nodes and low configuration nodes according to the CPU, memory size of the node and the inherent hardware performance of disk I / O, and then the CPU utilization rate of the nodes. The dynamic factors of memory utilization, network bandwidth utilization, disk utilization and other performance factors establish the performance evaluation model of nodes and establish three performance levels. According to the node configuration, performance level and network location and other factors for comprehensive scheduling. At the same time, the data block distribution will be dynamically adjusted according to the data access frequency during the running process of the cluster. Experimental results show that the proposed hierarchical storage scheduling mechanism can improve data access efficiency and optimize cluster performance in HDFS heterogeneous clusters.
【作者單位】： 北方工業(yè)大學(xué)云計(jì)算研究中心;大規(guī)模流數(shù)據(jù)集成與分析技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室;
【基金】：北京市教育委員會(huì)科技計(jì)劃重點(diǎn)項(xiàng)目(KZ201310009009)資助 北京市屬高等學(xué)校創(chuàng)新團(tuán)隊(duì)建設(shè)與教師職業(yè)發(fā)展計(jì)劃基金項(xiàng)目(IDHT20130502)資助
【分類(lèi)號(hào)】：TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前9條

1 張華偉;李志華;;基于多目標(biāo)優(yōu)化的云存儲(chǔ)副本分布策略的研究[J];計(jì)算機(jī)科學(xué);2015年04期

2 饒磊;楊凡德;李新明;劉東;;基于熱度分析的動(dòng)態(tài)副本創(chuàng)建算法[J];計(jì)算機(jī)應(yīng)用;2014年S2期

3 任川;楊冬菊;;基于云存儲(chǔ)的二階段動(dòng)態(tài)優(yōu)化調(diào)度機(jī)制[J];計(jì)算機(jī)與數(shù)字工程;2014年09期

4 羅鵬;龔勛;;HDFS數(shù)據(jù)存放策略的研究與改進(jìn)[J];計(jì)算機(jī)工程與設(shè)計(jì);2014年04期

5 邵秀麗;王亞光;李云龍;劉一偉;;Hadoop副本放置策略[J];智能系統(tǒng)學(xué)報(bào);2013年06期

6 陶永才;張寧寧;石磊;衛(wèi)琳;;異構(gòu)環(huán)境下云計(jì)算數(shù)據(jù)副本動(dòng)態(tài)管理研究[J];小型微型計(jì)算機(jī)系統(tǒng);2013年07期

7 廖彬;于炯;張?zhí)?楊興耀;;基于分布式文件系統(tǒng)HDFS的節(jié)能算法[J];計(jì)算機(jī)學(xué)報(bào);2013年05期

8 徐婧;楊壽保;王淑玲;劉曉茜;;CDRS:云存儲(chǔ)中一種代價(jià)驅(qū)動(dòng)的自適應(yīng)副本策略[J];中國(guó)科學(xué)院研究生院學(xué)報(bào);2011年06期

9 陳康;鄭緯民;;云計(jì)算:系統(tǒng)實(shí)例與研究現(xiàn)狀[J];軟件學(xué)報(bào);2009年05期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王歡;李紅輝;張駿溫;;改進(jìn)K-means聚類(lèi)的云任務(wù)調(diào)度算法[J];計(jì)算機(jī)與現(xiàn)代化;2017年02期

2 沈鳳明;崔騁宇;;私有云環(huán)境下的VM使用管理策略[J];科技資訊;2016年35期

3 梁俊榮;;基于Hadoop的圖書(shū)館復(fù)合大數(shù)據(jù)存儲(chǔ)系統(tǒng)研究[J];現(xiàn)代情報(bào);2017年02期

4 齊來(lái)軍;周麗娟;任仲山;;醫(yī)學(xué)影像云存儲(chǔ)模型的研究與設(shè)計(jì)[J];計(jì)算機(jī)應(yīng)用與軟件;2017年02期

5 楊娟;;基于云計(jì)算的海量數(shù)據(jù)挖掘體系研究[J];赤峰學(xué)院學(xué)報(bào)(自然科學(xué)版);2017年02期

6 方巍;劉琦;;氣象云計(jì)算虛擬仿真實(shí)驗(yàn)教學(xué)研究與探索[J];實(shí)驗(yàn)技術(shù)與管理;2017年01期

7 國(guó)冰磊;于炯;廖彬;楊德先;;基于數(shù)據(jù)庫(kù)負(fù)載的SQL能耗預(yù)測(cè)模型[J];計(jì)算機(jī)科學(xué);2017年01期

8 廖彬;張?zhí)?于炯;國(guó)冰磊;劉繼;;基于二維劃分的杰卡德相似系數(shù)批量計(jì)算效率優(yōu)化[J];計(jì)算機(jī)科學(xué);2017年01期

9 張凱旋;顧春華;萬(wàn)峰;;云環(huán)境下基于Agent協(xié)商的宿主機(jī)容錯(cuò)策略[J];計(jì)算機(jī)應(yīng)用與軟件;2017年01期

10 楊冬菊;李青;鄧崇彬;;HDFS異構(gòu)集群中的分級(jí)存儲(chǔ)調(diào)度機(jī)制[J];小型微型計(jì)算機(jī)系統(tǒng);2017年01期

【二級(jí)參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王健宗;諶炎俊;謝長(zhǎng)生;;面向云存儲(chǔ)的I/O資源效用優(yōu)化調(diào)度算法研究[J];計(jì)算機(jī)研究與發(fā)展;2013年08期

2 廖彬;于炯;張?zhí)?楊興耀;;基于分布式文件系統(tǒng)HDFS的節(jié)能算法[J];計(jì)算機(jī)學(xué)報(bào);2013年05期

3 王永洲;茅蘇;;HDFS中的一種數(shù)據(jù)放置策略[J];計(jì)算機(jī)技術(shù)與發(fā)展;2013年05期

4 陶永才;石磊;;異構(gòu)資源環(huán)境下的MapReduce性能優(yōu)化[J];小型微型計(jì)算機(jī)系統(tǒng);2013年02期

5 董繼光;陳衛(wèi)衛(wèi);吳海佳;田浪軍;;基于動(dòng)態(tài)副本技術(shù)的云存儲(chǔ)負(fù)載均衡研究[J];計(jì)算機(jī)應(yīng)用研究;2012年09期

6 董繼光;陳衛(wèi)衛(wèi);田浪軍;吳海佳;;大規(guī)模云存儲(chǔ)系統(tǒng)副本布局研究[J];計(jì)算機(jī)應(yīng)用;2012年03期

7 王意潔;孫偉東;周松;裴曉強(qiáng);李小勇;;云計(jì)算環(huán)境下的分布存儲(chǔ)關(guān)鍵技術(shù)[J];軟件學(xué)報(bào);2012年04期

8 周敬利;周正達(dá);;改進(jìn)的云存儲(chǔ)系統(tǒng)數(shù)據(jù)分布策略[J];計(jì)算機(jī)應(yīng)用;2012年02期

9 林偉偉;;一種改進(jìn)的Hadoop數(shù)據(jù)放置策略[J];華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年01期

10 徐婧;楊壽保;王淑玲;劉曉茜;;CDRS:云存儲(chǔ)中一種代價(jià)驅(qū)動(dòng)的自適應(yīng)副本策略[J];中國(guó)科學(xué)院研究生院學(xué)報(bào);2011年06期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王曉川,葉超群,金士堯;一種基于分布式調(diào)度機(jī)制的集群體系結(jié)構(gòu)[J];計(jì)算機(jī)工程;2002年08期

2 李亮;郝艷梅;李偉綿;;面向移動(dòng)協(xié)同應(yīng)用的資源動(dòng)態(tài)調(diào)度機(jī)制[J];河北省科學(xué)院學(xué)報(bào);2012年04期

3 苗壯;;淺析云計(jì)算架構(gòu)及調(diào)度機(jī)制[J];電子測(cè)試;2014年04期

4 唐飛岳;葉暉;趙明;;機(jī)會(huì)網(wǎng)絡(luò)節(jié)點(diǎn)喚醒調(diào)度機(jī)制研究[J];計(jì)算機(jī)工程與應(yīng)用;2011年26期

5 趙震;張龍昌;;云計(jì)算中多QoS調(diào)度機(jī)制研究[J];微型電腦應(yīng)用;2014年01期

6 李慧;馬雷明;紀(jì)越峰;;面向分布式業(yè)務(wù)的可重構(gòu)光網(wǎng)絡(luò)資源調(diào)度機(jī)制研究[J];通信學(xué)報(bào);2008年12期

7 陳澤暉;常光輝;卜長(zhǎng)清;陳蜀宇;;一種支持實(shí)時(shí)集群系統(tǒng)的雙層調(diào)度機(jī)制[J];計(jì)算機(jī)科學(xué);2008年10期

8 何福貴;侯義斌;李輝;;嵌入式操作系統(tǒng)調(diào)度機(jī)制的研究[J];計(jì)算機(jī)應(yīng)用研究;2009年01期

9 曾智慧,劉富強(qiáng),陶健,李慶;IEEE 802.16 Mesh模式下MAC調(diào)度機(jī)制的研究[J];計(jì)算機(jī)工程與應(yīng)用;2005年23期

10 陳劍;賈杰;聞?dòng)⒂?趙大哲;劉積仁;;基于TDMA方式WMN中一種鏈路調(diào)度機(jī)制研究[J];控制與決策;2010年09期

相關(guān)會(huì)議論文 前1條

1 張曉玲;臧傳治;于海斌;梁椺;;SDS調(diào)度機(jī)制系統(tǒng)容量分析[A];第六屆全國(guó)信息獲取與處理學(xué)術(shù)會(huì)議論文集（3）[C];2008年

相關(guān)重要報(bào)紙文章 前5條

1 蘆燕娟;我省將制定供熱應(yīng)急預(yù)案[N];濟(jì)南日?qǐng)?bào);2004年

2 記者 朱娟娟;創(chuàng)新調(diào)度機(jī)制 提升工作實(shí)效[N];泉州晚報(bào);2013年

3 楊茜;加強(qiáng)反恐處突長(zhǎng)效機(jī)制建設(shè)[N];瀘州日?qǐng)?bào);2008年

4 見(jiàn)習(xí)記者 武耀琳;我市經(jīng)濟(jì)項(xiàng)目庫(kù)建設(shè)力度大[N];朔州日?qǐng)?bào);2005年

5 楊烈斌;優(yōu)化網(wǎng)絡(luò)架構(gòu) 提升城域核心 傳送網(wǎng)絡(luò)承載效率[N];人民郵電;2012年

相關(guān)博士學(xué)位論文 前3條

1 黃昭文;無(wú)線(xiàn)MESH網(wǎng)絡(luò)資源調(diào)度算法與QoS保障機(jī)制研究[D];華南理工大學(xué);2010年

2 李亞軍;無(wú)線(xiàn)城域網(wǎng)格網(wǎng)（WiMAX Mesh）QoS聯(lián)合優(yōu)化關(guān)鍵技術(shù)研究[D];上海交通大學(xué);2010年

3 吳潤(rùn)澤;光子網(wǎng)格中智能節(jié)點(diǎn)關(guān)鍵技術(shù)的研究[D];北京郵電大學(xué);2007年

相關(guān)碩士學(xué)位論文 前10條

1 馮彥坤;移動(dòng)容遲網(wǎng)絡(luò)節(jié)點(diǎn)睡眠調(diào)度機(jī)制研究[D];內(nèi)蒙古大學(xué);2015年

2 張?zhí)炀V;PaaS環(huán)境中動(dòng)態(tài)資源調(diào)度機(jī)制的研究與分析[D];北京郵電大學(xué);2015年

3 李琰;可重構(gòu)WEB服務(wù)平臺(tái)資源調(diào)度機(jī)制研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2013年

4 謝亞蓉;密集小區(qū)干擾管理技術(shù)研究[D];西安電子科技大學(xué);2014年

5 楊盛;網(wǎng)絡(luò)擁塞下VoLTE的調(diào)度機(jī)制優(yōu)化[D];東南大學(xué);2015年

6 晏偉;LTE-A載波聚合下的資源分配算法及其切換性能分析[D];北京交通大學(xué);2016年

7 楊恒勝;操作系統(tǒng)調(diào)度機(jī)制的研究[D];北京交通大學(xué);2012年

8 邢娟;基于Quorum的WSN自適應(yīng)調(diào)度機(jī)制研究[D];河南理工大學(xué);2015年

9 聞晨鷺;車(chē)輛自組織網(wǎng)絡(luò)路側(cè)單元高能效調(diào)度機(jī)制研究[D];東南大學(xué);2016年

10 姜逸坤;HINOC 2.0 MAC層信道調(diào)度機(jī)制研究[D];西安電子科技大學(xué);2015年

，

本文編號(hào)：2218710