本文關(guān)鍵詞：基于可重構(gòu)硬件架構(gòu)的MapReduce計(jì)算方法研究與實(shí)現(xiàn)

  更多相關(guān)文章： 大數(shù)據(jù) MapReduce編程模型 可重構(gòu)計(jì)算

【摘要】：隨著互聯(lián)網(wǎng)的飛速發(fā)展,信息量的爆炸式增長,需要高效的科學(xué)計(jì)算,以滿足快速挖掘有價值信息的需求。在傳統(tǒng)的計(jì)算機(jī)上處理海量的數(shù)據(jù)需要很長的時間消耗和能量代價,如何快速高效利用好海量的數(shù)據(jù)成為各行各業(yè)所面臨的嚴(yán)峻考驗(yàn)。高效利用海量數(shù)據(jù)挖掘出有價值的信息成為工業(yè)界發(fā)展的必然選擇。由Google實(shí)驗(yàn)室提出的MapReduce編程模型是一種快速、簡潔、高效的大數(shù)據(jù)的處理方法。其通過對大數(shù)據(jù)塊進(jìn)行子任務(wù)劃分、任務(wù)調(diào)配、并行化處理、容錯處理等進(jìn)行封裝,很大程度上簡化了并行程序的設(shè)計(jì),目前已在Google、 Facebook、阿里巴巴等公司的許多項(xiàng)目中得到應(yīng)用。相比較而言,傳統(tǒng)的計(jì)算機(jī)其有限的運(yùn)算單元和存儲帶寬,束縛其性能和功耗無法滿足日益推成出新的應(yīng)用需求�？芍貥�(gòu)計(jì)算架構(gòu)的處理系統(tǒng)兼顧了專用集成電路的高效性和通用處理器的靈活性的優(yōu)勢,其可高效并行處理計(jì)算密集型應(yīng)用的特點(diǎn),成為解決并行計(jì)算多樣性需求的有效途徑。本文針對高效處理海量數(shù)據(jù)的場景下,對MapReduce編程模型和可重構(gòu)計(jì)算技術(shù)進(jìn)行了深入的研究；提出了將MapReduce編程模型與可重構(gòu)計(jì)算技術(shù)相結(jié)合的研究方案；選取了Kmeans聚類算法和FIR濾波算法兩種典型的算法作為目標(biāo)算法；設(shè)計(jì)了Kmeas聚類算法和FIR濾波算法的MapReduce編程,完成了這兩種算法在可重構(gòu)硬件架構(gòu)上的映射。完成了上述算法在可重構(gòu)計(jì)算平臺和通用計(jì)算平臺ATOM230上的性能對比實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明：在可重構(gòu)計(jì)算平臺上實(shí)現(xiàn)基于MapReduce模型并行化的Kmeans聚類算法和FIR濾波算法在運(yùn)行時間上較ATOM230通用計(jì)算平臺分別提升3.2倍和2.6倍。
【學(xué)位授予單位】：北京交通大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2016
【分類號】：TP311.13

【相似文獻(xiàn)】

中國期刊全文數(shù)據(jù)庫 前10條

1 李仁發(fā),周祖德,陳幼平,徐成,李方敏;可重構(gòu)計(jì)算的硬件結(jié)構(gòu)[J];計(jì)算機(jī)研究與發(fā)展;2003年03期

2 段然,樊曉椏,高德遠(yuǎn),沈戈;可重構(gòu)計(jì)算技術(shù)及其發(fā)展趨勢[J];計(jì)算機(jī)應(yīng)用研究;2004年08期

3 季愛明;謝滿德;;二維陣列型可重構(gòu)計(jì)算的層次型參數(shù)模型[J];計(jì)算機(jī)工程;2008年18期

4 王志遠(yuǎn);王建華;徐e，

本文編號：1306112