本文選題：多核集群　切入點：數(shù)據(jù)流編程　出處：《計算機工程與科學》2016年12期 　論文類型：期刊論文

【摘要】：數(shù)據(jù)流編程模型將程序的計算與通信分離,暴露了應(yīng)用程序潛在的并行性并簡化了編程難度。分布式計算框架利用廉價PC構(gòu)建多核集群解決了大規(guī)模并行計算問題,但多核集群層次性存儲結(jié)構(gòu)和處理單元對數(shù)據(jù)流程序的性能提出了新的挑戰(zhàn)。針對數(shù)據(jù)流程序在分布式架構(gòu)下所面臨的問題,設(shè)計并實現(xiàn)了數(shù)據(jù)流編程模型和分布式計算框架的結(jié)合——在COStream的基礎(chǔ)上提出了面向Storm的編譯優(yōu)化框架�？蚣馨▋蓚�模塊:面向Storm的層次性任務(wù)劃分與調(diào)度,以及面向Storm的層次性軟件流水與代碼生成。層次性任務(wù)劃分利用Storm的任務(wù)調(diào)度機制將程序所有子任務(wù)分配到Storm集群節(jié)點內(nèi)的多核上。層次性軟件流水與代碼生成將子任務(wù)構(gòu)造成集群節(jié)點間的軟件流水和節(jié)點內(nèi)多核間的軟件流水,并生成相應(yīng)的目標代碼。實驗以多核集群為目標平臺,在集群上搭建Storm分布式架構(gòu),選取數(shù)字媒體處理領(lǐng)域典型程序作為測試程序,對面向Storm的編譯優(yōu)化后的程序進行實驗分析。實驗結(jié)果表明了結(jié)合方法的有效性。
[Abstract]:Data stream programming model separates program computing from communication, exposes the potential parallelism of application programs and simplifies programming difficulties. The distributed computing framework uses cheap PC to build multi-core clusters to solve the problem of large-scale parallel computing. However, the hierarchical storage structure and processing unit of multi-core cluster pose a new challenge to the performance of data flow programs. This paper designs and implements the combination of data flow programming model and distributed computing framework. Based on COStream, a compiler optimization framework for Storm is proposed. The framework consists of two modules: hierarchical task partitioning and scheduling for Storm. Storm oriented hierarchical software income and code generation. Hierarchical task partitioning using the Storm task scheduling mechanism to assign all subtasks of the program to the multi-core in the Storm cluster node. Hierarchical software income and code generation. The subtasks are constructed into software income between cluster nodes and income software between multi-core nodes. The experiment takes multi-core cluster as the target platform, builds the Storm distributed architecture on the cluster, and selects the typical program in the field of digital media processing as the test program. The experimental results show the effectiveness of the proposed method.
【作者單位】： 華中科技大學網(wǎng)絡(luò)與計算中心;
【基金】：國家重點研發(fā)計劃(2016YFB1000204) 國家自然科學基金(61572211)
【分類號】：TP311.1

【相似文獻】

相關(guān)期刊論文 前10條

1 徐超;何炎祥;吳偉;陳勇;劉健博;;基于模擬關(guān)系的編譯優(yōu)化實現(xiàn)正確性驗證方法[J];電子學報;2012年11期

2 王正華;陸平靜;車永剛;;迭代編譯優(yōu)化技術(shù)綜述[J];計算機工程與應(yīng)用;2008年32期

3 龍舜;;往復式編譯優(yōu)化技術(shù)的新進展[J];小型微型計算機系統(tǒng);2008年03期

4 蔣湘濤;胡志剛;賀建飚;;基于調(diào)用鏈分析的低功耗編譯優(yōu)化[J];吉林大學學報(工學版);2009年01期

5 吳圣寧;李思昆;;若干編譯優(yōu)化技術(shù)的工程實現(xiàn)[J];計算機工程與應(yīng)用;2007年03期

6 田祖?zhèn)?孫光;;基于謂詞代碼的編譯優(yōu)化技術(shù)研究[J];計算機科學;2010年05期

7 易會戰(zhàn),楊學軍;有效的低功耗編譯優(yōu)化方法:部件使用局部化[J];軟件學報;2004年10期

8 何炎祥;陳勇;吳偉;李清安;江南;徐超;;綠色編譯優(yōu)化策略:研究綜述[J];計算機科學與探索;2013年08期

9 田新民,王鼎興,沈美明,鄭緯民,溫冬嬋;優(yōu)化并行圖重寫計算粒度的編譯時部分調(diào)度策略[J];計算機學報;1992年11期

10 陸平靜;李寶;車永剛;龐征斌;;一種基于代碼隔離的大程序迭代編譯優(yōu)化方法[J];上海交通大學學報;2013年01期

相關(guān)重要報紙文章 前1條

1 計算機世界實驗室 韓勖;龍芯2F處理器GCC4.4優(yōu)化探秘(下)[N];計算機世界;2008年

相關(guān)博士學位論文 前3條

1 陽柳;面向動態(tài)雙模多層次并行體系結(jié)構(gòu)的編譯優(yōu)化技術(shù)研究[D];國防科學技術(shù)大學;2014年

2 鄧濵;前瞻多線程編譯優(yōu)化技術(shù)的研究與實現(xiàn)[D];國防科學技術(shù)大學;2001年

3 陸平靜;低開銷的迭代編譯優(yōu)化關(guān)鍵技術(shù)研究[D];國防科學技術(shù)大學;2010年

相關(guān)碩士學位論文 前10條

1 范志東;低功耗編譯優(yōu)化算法及軟件功耗分析技術(shù)的研究[D];中國石油大學(華東);2014年

2 廉玉龍;面向嵌入式處理器的編譯優(yōu)化技術(shù)研究[D];浙江大學;2016年

3 鄒燕燕;數(shù)據(jù)中心計算環(huán)境下基于語義模式的編譯優(yōu)化[D];中國科學技術(shù)大學;2014年

4 孔凡金;基于值剖視的編譯優(yōu)化研究[D];國防科學技術(shù)大學;2010年

5 朱丹楓;一種用于測試編譯優(yōu)化的程序控制結(jié)構(gòu)生成算法[D];中國科學院研究生院（軟件研究所）;2005年

6 裴根;基于LLVM的異構(gòu)編譯優(yōu)化方法研究[D];重慶交通大學;2013年

7 秦明康;面向片式結(jié)構(gòu)多核處理器的流編譯優(yōu)化方法研究[D];華中科技大學;2012年

8 劉小憲;面向X10的數(shù)據(jù)流程序編譯優(yōu)化方法研究[D];華中科技大學;2013年

9 崔慧敏;基于THUMP的編譯優(yōu)化技術(shù)研究[D];清華大學;2003年

10 趙捷;面向分布存儲的并行編譯優(yōu)化技術(shù)研究[D];解放軍信息工程大學;2012年

，

本文編號：1619706