發(fā)布時(shí)間：2017-05-20 05:15

  本文關(guān)鍵詞：基于嵌入式多處理器Metis框架的研究，由筆耕文化傳播整理發(fā)布。

【摘要】：嵌入式平臺(tái)上的并行計(jì)算已經(jīng)越來(lái)越熱門(mén)了,單核處理器再也不能滿足應(yīng)用上的需求。多核處理器的廣泛應(yīng)用促進(jìn)了嵌入式并行計(jì)算的發(fā)展,涌現(xiàn)出許多并行開(kāi)發(fā)的技術(shù)如MPI、OpenMP等核間通信技術(shù)�；贛apReduce編程模型的并行計(jì)算軟件框架在計(jì)算機(jī)領(lǐng)域里百花齊放,如Spark、Hadoop、Metis和Phoenix等。Spark和Hadoop一般都是用于PC機(jī)集群,并沒(méi)有用于嵌入式平臺(tái)上的集群。Metis是在Phoenix基礎(chǔ)上改進(jìn)的基于MapReduce編程框架,這兩個(gè)框架比前兩個(gè)框架在資源上的消耗更小,所以適合用于嵌入式平臺(tái)上的并行計(jì)算。Metis和Phoenix都是基于共享內(nèi)存的編程模型,所以它們只支持節(jié)點(diǎn)內(nèi)部的核間通信。本文對(duì)基于MapReduce編程模型Metis框架進(jìn)行了研究,為了使Metis并行計(jì)算框架能夠在嵌入式平臺(tái)上實(shí)現(xiàn)節(jié)點(diǎn)的集群,設(shè)計(jì)了以Metis為核心執(zhí)行MapReduce任務(wù),MPI進(jìn)行節(jié)點(diǎn)之間的通信,即MPI+Metis并行計(jì)算框架。通過(guò)Metis標(biāo)準(zhǔn)測(cè)試集評(píng)估測(cè)試MPI+Metis和MPI+Phoenix框架性能的差異。論文的最后,通過(guò)搜集嵌入式集群節(jié)點(diǎn)的CPU和內(nèi)存的使用率評(píng)估節(jié)點(diǎn)的負(fù)載狀況。最后,通過(guò)WordCount、LinearRegression分別測(cè)試MPI+Metis框架和MPI+Phoenix框架,表明Metis框架在數(shù)據(jù)處理過(guò)程比Phoenix更加有效。并通過(guò)測(cè)試多個(gè)嵌入式節(jié)點(diǎn)的集群上的CPU使用率和內(nèi)存使用率,表明數(shù)據(jù)量越大的應(yīng)用,CPU使用率和內(nèi)存使用率處于高峰的時(shí)間越長(zhǎng),但通過(guò)多個(gè)節(jié)點(diǎn)的集群可以降低系統(tǒng)負(fù)載。
【關(guān)鍵詞】：嵌入式 MapReduce MPI+Metis
【學(xué)位授予單位】：西安電子科技大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2014
【分類號(hào)】：TP332
【目錄】：

• 摘要5-6
• ABSTRACT6-10
• 符號(hào)對(duì)照表10-11
• 縮略語(yǔ)對(duì)照表11-14
• 第一章 緒論14-18
• 1.1 嵌入式云計(jì)算的發(fā)展趨勢(shì)14-15
• 1.2 多核開(kāi)發(fā)所帶來(lái)的問(wèn)題15-16
• 1.3 本文主要研究?jī)?nèi)容和創(chuàng)新點(diǎn)16-17
• 1.4 論文的組織結(jié)構(gòu)17
• 1.5 本章小結(jié)17-18
• 第二章 嵌入式多核平臺(tái)并行開(kāi)發(fā)技術(shù)18-28
• 2.1 引言18
• 2.2 MPI消息傳遞接18-22
• 2.2.1 基于MPI的編程方式18-20
• 2.2.2 MPI的幾個(gè)重要特點(diǎn)20-22
• 2.3 OpenMP技術(shù)介紹22-24
• 2.3.1 OpenMP的并行編程模型22-24
• 2.3.2 OpenMP的優(yōu)點(diǎn)和缺點(diǎn)24
• 2.4 多核編程存在的主要問(wèn)題24-26
• 2.4.1 負(fù)載平衡24-25
• 2.4.2 串行化問(wèn)題25-26
• 2.5 本章小結(jié)26-28
• 第三章 基于MapReduce模型Metis框架的研究28-46
• 3.1 基于共享內(nèi)存的MapReduce模型框架28-30
• 3.1.1 基于MapReduce編程模型28-30
• 3.2 Metis模型架構(gòu)分析30-43
• 3.2.1 Metis的數(shù)據(jù)處理流程30-36
• 3.2.2 Metis的存儲(chǔ)結(jié)構(gòu)分析36-42
• 3.2.3 Metis key-value預(yù)測(cè)方法42-43
• 3.3 Metis和Phoenix的比較43-45
• 3.3.1 Key-Value存儲(chǔ)結(jié)構(gòu)的比較43-44
• 3.3.2 數(shù)據(jù)處理的比較44-45
• 3.4 本章小結(jié)45-46
• 第四章 基于MPI+Metis框架的設(shè)計(jì)與實(shí)現(xiàn)46-78
• 4.1 引言46-47
• 4.2 MPI+Metis架構(gòu)分析47-68
• 4.2.1 Metis+MPI集群節(jié)點(diǎn)47-49
• 4.2.2 Master節(jié)點(diǎn)設(shè)計(jì)49-57
• 4.2.3 Worker節(jié)點(diǎn)設(shè)計(jì)57-60
• 4.2.4 Worker節(jié)點(diǎn)的數(shù)據(jù)處理流程60-68
• 4.3 基于MPI+Metis框架的性能測(cè)試與分析68-77
• 4.3.1 性能測(cè)試方法69
• 4.3.2 MPI+Metis框架的測(cè)試與分析69-73
• 4.3.3 MPI+Metis和MPI+Phoenix性能測(cè)試與分析73-77
• 4.4 本章小結(jié)77-78
• 第五章 基于Metis架構(gòu)的嵌入式系統(tǒng)集群的性能評(píng)估78-90
• 5.1 嵌入式多處理器性能監(jiān)控78-79
• 5.2 Slurm資源管理和作業(yè)調(diào)度79-82
• 5.3 系統(tǒng)性能參數(shù)82-86
• 5.3.1 性能測(cè)試方法83-86
• 5.4 嵌入式節(jié)點(diǎn)集群監(jiān)控測(cè)試分析86-88
• 5.4.1 測(cè)試結(jié)果及分析86-88
• 5.5 本章小結(jié)88-90
• 第六章 總結(jié)與展望90-94
• 6.1 工作總結(jié)90-91
• 6.2 工作展望91-94
• 參考文獻(xiàn)94-98
• 致謝98-100
• 作者簡(jiǎn)介100-101

【相似文獻(xiàn)】

中國(guó)重要報(bào)紙全文數(shù)據(jù)庫(kù) 前1條

1 本報(bào)記者 史蕾;歐盟METIS項(xiàng)目完成5G初定義[N];通信產(chǎn)業(yè)報(bào);2013年

中國(guó)碩士學(xué)位論文全文數(shù)據(jù)庫(kù) 前1條

1 鄭少雄;基于嵌入式多處理器Metis框架的研究[D];西安電子科技大學(xué);2014年

  本文關(guān)鍵詞：基于嵌入式多處理器Metis框架的研究，由筆耕文化傳播整理發(fā)布。

，

本文編號(hào)：380753