【摘要】：數(shù)據(jù)密集型應用越來越多,如何將大數(shù)據(jù)在數(shù)據(jù)中心實現(xiàn)有效放置變得日益重要。研究了大數(shù)據(jù)的放置模型。影響大數(shù)據(jù)放置的因素主要有:能耗、異構節(jié)點的服務能力及具有關聯(lián)計算的數(shù)據(jù)集。基于這3個因素設計了一種節(jié)能、充分考慮異構節(jié)點服務能力及提升MapReduce處理Join連接的效率的大數(shù)據(jù)放置模型。該模型將有效實現(xiàn)大數(shù)據(jù)的有效放置管理,同時也為未來軟件定制數(shù)據(jù)中心奠定了基礎。
【圖文】：

按照數(shù)據(jù)放置策略３的方法將它們放置到數(shù)據(jù)放置集群３中。通過數(shù)據(jù)集有關聯(lián)計算子網(wǎng)（修正后）得到的有關聯(lián)計算（修正后）數(shù)據(jù)集，按照數(shù)據(jù)放置策略４的方法將它們放置到數(shù)據(jù)放置集群３中。其中數(shù)據(jù)節(jié)點分配方法將決定數(shù)據(jù)放置集群１、數(shù)據(jù)放置集群２及數(shù)據(jù)放置集群３的具體分配實施。案例１展示了一個具體的數(shù)據(jù)中心云數(shù)據(jù)分配方法的實施例。【案例１】數(shù)據(jù)中心云數(shù)據(jù)分配方法實施例第１步：形成數(shù)據(jù)集關系網(wǎng)。根據(jù)數(shù)據(jù)集的歷史處理記錄或者根據(jù)預先的定義得到數(shù)據(jù)關系網(wǎng)。圖２為一個具有ｎ個數(shù)據(jù)集的數(shù)據(jù)集關系網(wǎng)。圖２數(shù)據(jù)集關系圖圖２的主要說明如下：（１）其中在云計算中共使用了ｎ個數(shù)據(jù)集合，分別為：Ｄ［１］，Ｄ［２］，Ｄ［３］，Ｄ［４］，Ｄ［５］，Ｄ［６］，Ｄ［７］，Ｄ［８］，Ｄ［９］，，…，Ｄ［ｎ］。（２）Ｓ［ｉ，ｊ］表示數(shù)據(jù)集Ｄ［ｉ］與Ｄ［ｊ］之間的計算關聯(lián)度，主要分為如下幾種情況：ａ）如果ｉ＝ｊ，并且Ｓ［ｉ，ｊ］＝０。ｉ＝ｊ表明為同一個數(shù)據(jù)集。如果Ｓ［ｉ，ｊ］＝０，它表明針對該數(shù)據(jù)集自身沒有任何計算操作（如查詢等）。ｂ）如果ｉ＝ｊ，并且Ｓ［ｉ，ｊ］＞０。ｉ＝ｊ表明為同一個數(shù)據(jù)集。如果Ｓ［ｉ，ｊ］＞０，它表明了針對該數(shù)據(jù)集自身有計算操作（如針對該單個數(shù)據(jù)集的查詢等）。ｃ）如果ｉ！＝ｊ，并且Ｓ［ｉ，ｊ］＝０。Ｉ�。剑瓯砻魃婕暗絻蓚�不同的數(shù)據(jù)集。如果Ｓ［ｉ，ｊ］＝０，它表

不同的數(shù)據(jù)集。如果Ｓ［ｉ，ｊ］＞０，它表明這兩個不同的數(shù)據(jù)集之間有計算操作（如連接操作、聯(lián)合操作及其笛卡爾積等）。（３）根據(jù)（２）及歷史計算關系或者預先定義，得到相應的含數(shù)值的數(shù)據(jù)集歷史計算關系圖，如圖３所示。其中：Ｓ［１，１］＝２００；Ｓ［１，３］＝２００；Ｓ［２，２］＝３；Ｓ［３，３］＝５０；Ｓ［３，４］＝２；Ｓ［５，５］＝１００；Ｓ［６，６］＝８０；Ｓ［５，７］＝７８；Ｓ［６，７］＝８８；Ｓ［８，８］＝６０；Ｓ［９，９］＝０；Ｓ［６，ｎ］＝１；Ｓ［ｎ，ｎ］＝１２０。圖３含數(shù)值的數(shù)據(jù)集關系網(wǎng)（４）從圖３可以得到圖２中所提及的３個子網(wǎng)：數(shù)據(jù)集有關聯(lián)計算子網(wǎng)、數(shù)據(jù)集孤立計算子網(wǎng)及數(shù)據(jù)集無計算關系子網(wǎng)。（５）從圖３可以得到圖２中所提及的兩個子網(wǎng)分別所對應的數(shù)據(jù)集：孤立計算數(shù)據(jù)集｛Ｄ（８）｝及無計算關系數(shù)據(jù)集｛Ｄ［９］｝。第２步：形成數(shù)據(jù)集修正關系網(wǎng)。Ｈａｄｏｏｐ自身的數(shù)據(jù)放置策略的最大優(yōu)勢是通過分區(qū)函數(shù)讓所有的數(shù)據(jù)塊能夠實現(xiàn)自由流動，從而達到一種較好的負載均衡。本文將對來自第１步的數(shù)據(jù)集有關聯(lián)計算子網(wǎng)進行相應的修正，讓一部分數(shù)據(jù)集的數(shù)據(jù)放置遵循Ｈａｄｏｏｐ本身的數(shù)據(jù)放置策略，從而實現(xiàn)較好的負載均衡。其中最關鍵的是需要設定相應的修正因子（該修正因子可以由云數(shù)據(jù)中心管理人員自行編程設定），然后對數(shù)據(jù)集有關聯(lián)計算子網(wǎng)進行相應的修正得到一個數(shù)據(jù)集修正關系網(wǎng)。具體子步驟如下：（１）獲取來自第１步的數(shù)據(jù)集有關聯(lián)計算
【作者單位】： 清華大學信息技術研究院;首都經(jīng)濟貿易大學;
【基金】：高等學校博士學科點專項科研基金課題(20100002110082)資助
【分類號】：TP308

【參考文獻】

相關期刊論文 前3條

1 林偉偉;;一種改進的Hadoop數(shù)據(jù)放置策略[J];華南理工大學學報(自然科學版);2012年01期

2 趙彥榮;王偉平;孟丹;張書彬;李均;;基于Hadoop的高效連接查詢處理算法CHMJ[J];軟件學報;2012年08期

3 覃雄派;王會舉;李芙蓉;李翠平;陳紅;周p

本文編號：2535684