本文關(guān)鍵詞：大數(shù)據(jù)全比較問(wèn)題的數(shù)據(jù)分配策略研究

  更多相關(guān)文章： 分布式計(jì)算 大數(shù)據(jù) 全比較 數(shù)據(jù)分配 圖覆蓋

【摘要】：大數(shù)據(jù)集全比較是一種特殊的計(jì)算問(wèn)題,對(duì)數(shù)據(jù)集中的任意兩個(gè)數(shù)據(jù)進(jìn)行比較計(jì)算,廣泛存在于生物信息學(xué),生物計(jì)量學(xué),數(shù)據(jù)挖掘等領(lǐng)域�；诜植际酱鎯�(chǔ)架構(gòu)的分布式計(jì)算由于具有高效益,高可靠性和高可擴(kuò)展性等優(yōu)點(diǎn),而被廣泛地用于解決大規(guī)模的計(jì)算問(wèn)題,包括全比較計(jì)算。它把一個(gè)大問(wèn)題分解為多個(gè)小問(wèn)題,然后把每個(gè)小問(wèn)題交給分布式系統(tǒng)中的各個(gè)節(jié)點(diǎn)來(lái)處理。然而,它的性能依賴于數(shù)據(jù)分配,任務(wù)分解和任務(wù)調(diào)度策略。對(duì)于比較任務(wù)來(lái)說(shuō),不合理的數(shù)據(jù)分配和低的數(shù)據(jù)本地性會(huì)極大地降低整體的計(jì)算性能,此外,分布式系統(tǒng)中不均衡的計(jì)算負(fù)載也會(huì)影響計(jì)算性能。本文首先介紹了問(wèn)題產(chǎn)生的背景,以及對(duì)該問(wèn)題傳統(tǒng)的解決方法的不足。其次,對(duì)全比較問(wèn)題進(jìn)行了深入的理論研究,模型構(gòu)建,并提出了相應(yīng)的算法,獲得了好的計(jì)算性能。本文的貢獻(xiàn)主要為以下幾點(diǎn):(1)對(duì)全比較問(wèn)題進(jìn)行深入的理論剖析,對(duì)全比較計(jì)算的數(shù)據(jù)分配問(wèn)題進(jìn)行了模型構(gòu)建。(2)提出了基于貪心思想的啟發(fā)式的數(shù)據(jù)分配算法。根據(jù)數(shù)據(jù)分配問(wèn)題的理論模型,提出了啟發(fā)式規(guī)則,并根據(jù)這些規(guī)則提出了數(shù)據(jù)分配算法。保證了所有比較任務(wù)的數(shù)據(jù)本地性為100%,與在每個(gè)節(jié)點(diǎn)上存儲(chǔ)所有的數(shù)據(jù)文件的策略相比,提高了存儲(chǔ)效率,與Hadoop默認(rèn)的數(shù)據(jù)分配策略相比,提高了整體的計(jì)算性能和良好的可擴(kuò)展性。(3)提出了基于圖覆蓋的數(shù)據(jù)分配算法。該方法為本文首次提出,用于解決全比較問(wèn)題。首先,介紹了用圖覆蓋來(lái)解決全比較計(jì)算的數(shù)據(jù)分配問(wèn)題的理論基礎(chǔ)。其次,證明了在某種條件下可以構(gòu)造出圖覆蓋的最優(yōu)解,并且成功構(gòu)造了幾組最優(yōu)解。與啟發(fā)式相比,除了保證比較任務(wù)具有100%的數(shù)據(jù)本地性,負(fù)載均衡以外,在特解的情況下,基于圖覆蓋的數(shù)據(jù)分配算法具有更好的計(jì)算性能。
【學(xué)位授予單位】：太原理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP311.13

【參考文獻(xiàn)】

中國(guó)期刊全文數(shù)據(jù)庫(kù) 前7條

1 余基映;張騰;;Hadoop平臺(tái)下MapReduce模型的數(shù)據(jù)分配策略研究[J];湖北民族學(xué)院學(xué)報(bào)(自然科學(xué)版);2015年02期

2 周航;申秋慧;王迤冉;;基于Hadoop平臺(tái)的任務(wù)調(diào)度方案分析[J];周口師范學(xué)院學(xué)報(bào);2013年02期

3 諶超;強(qiáng)保華;石龍;;基于Hadoop MapReduce的大規(guī)模數(shù)據(jù)索引構(gòu)建與集群性能分析[J];桂林電子科技大學(xué)學(xué)報(bào);2012年04期

4 陳凱;江R，

本文編號(hào)：1305814