當(dāng)前Hadoop的實(shí)現(xiàn)主要針對同構(gòu)集群,假設(shè)任務(wù)處理的數(shù)據(jù)基本是本地的.然而,實(shí)際應(yīng)用中集群多為異構(gòu).這暴露出現(xiàn)有的數(shù)據(jù)分配策略對數(shù)據(jù)局部性考慮的不足,其產(chǎn)生的不必要數(shù)據(jù)傳輸耗費(fèi)了大量的帶寬資源和傳輸時(shí)間.通過結(jié)合Hadoop中數(shù)據(jù)放置與任務(wù)執(zhí)行的關(guān)系,按不同節(jié)點(diǎn)對不同任務(wù)的執(zhí)行能力進(jìn)行數(shù)據(jù)分配.在考慮異構(gòu)集群中節(jié)點(diǎn)固有性能的情況下,提出一種機(jī)架間基于任務(wù)特性和節(jié)點(diǎn)計(jì)算能力的數(shù)據(jù)分配策略.該分配策略提高了對數(shù)據(jù)局部性的關(guān)注,使每個(gè)節(jié)點(diǎn)都盡可能只訪問本地?cái)?shù)據(jù).通過實(shí)驗(yàn)可知,該策略可以有效地縮短作業(yè)執(zhí)行時(shí)間,提高時(shí)效性;同時(shí)提高數(shù)據(jù)局部性,減少網(wǎng)絡(luò)數(shù)據(jù)傳輸,避免擁塞;最后,該分配策略還具有較好的穩(wěn)定性. 

【文章頁數(shù)】：6 頁

【文章目錄】：
1 引 言
2 相關(guān)工作
3 基于計(jì)算性能的數(shù)據(jù)分配策略
    3. 1 固有性能調(diào)優(yōu)
    3. 2 傳統(tǒng)數(shù)據(jù)分配策略研究
    3. 3 基于計(jì)算性能的數(shù)據(jù)分配策略
        3. 3. 1 集群性質(zhì)
        3. 3. 2 基本算法過程
4 實(shí)驗(yàn)分析
    4. 1 實(shí)驗(yàn)環(huán)境
    4. 2 節(jié)點(diǎn)固有性能
    4. 3 基于計(jì)算性能的數(shù)據(jù)分配策略
        4. 3. 1 執(zhí)行時(shí)間
        4. 3. 2 數(shù)據(jù)局部性
        4. 3. 3 分配策略穩(wěn)定性
5 結(jié)束語


【參考文獻(xiàn)】：
期刊論文
[1]云計(jì)算安全問題研究綜述[J]. 楊健,汪海航,王劍,俞定國.  小型微型計(jì)算機(jī)系統(tǒng). 2012(03)
[2]一種基于海量信息處理的云存儲模型研究[J]. 張桂剛,李超,張勇,邢春曉.  計(jì)算機(jī)研究與發(fā)展. 2012(S1)
[3]云計(jì)算環(huán)境下的分布存儲關(guān)鍵技術(shù)[J]. 王意潔,孫偉東,周松,裴曉強(qiáng),李小勇.  軟件學(xué)報(bào). 2012(04)
[4]MapReduce并行編程模型研究綜述[J]. 李建江,崔健,王聃,嚴(yán)林,黃義雙.  電子學(xué)報(bào). 2011(11)
[5]云計(jì)算:體系架構(gòu)與關(guān)鍵技術(shù)[J]. 羅軍舟,金嘉暉,宋愛波,東方.  通信學(xué)報(bào). 2011(07)
[6]云計(jì)算環(huán)境下面向數(shù)據(jù)密集型應(yīng)用的數(shù)據(jù)布局策略與方法[J]. 鄭湃,崔立真,王海洋,徐猛.  計(jì)算機(jī)學(xué)報(bào). 2010(08)
[7]云計(jì)算:系統(tǒng)實(shí)例與研究現(xiàn)狀[J]. 陳康,鄭緯民.  軟件學(xué)報(bào). 2009(05)



本文編號：3690272