本文關(guān)鍵詞：BDSim:面向大數(shù)據(jù)應(yīng)用的組件化高可配并行模擬框架　出處：《計(jì)算機(jī)學(xué)報》2015年10期 　論文類型：期刊論文

  更多相關(guān)文章： 組件化并行模擬框架 并行離散事件模擬 非阻塞無鎖通信 CMB算法 高可配 大數(shù)據(jù)

【摘要】：大規(guī)模并行模擬是研究大數(shù)據(jù)體系結(jié)構(gòu)的重要方法,對大數(shù)據(jù)應(yīng)用及眾核體系結(jié)構(gòu)的發(fā)展有著不可替代的推動作用.然而,目前的模擬技術(shù)不能滿足大數(shù)據(jù)體系結(jié)構(gòu)研究的需求,主要體現(xiàn)在模擬速度慢、配置過程復(fù)雜以及可擴(kuò)展性差等方面.為了解決此問題,評估面向大數(shù)據(jù)應(yīng)用的高通量眾核體系結(jié)構(gòu)的性能與功耗,該文提出了面向大數(shù)據(jù)應(yīng)用的并行模擬框架——BDSim.該框架基于組件化思想,將功能組件與框架服務(wù)單元組成并行功能單元,并可根據(jù)負(fù)載情況,自由配置組件與框架服務(wù)單元之間的映射關(guān)系.為了提高組件之間的通信和同步效率,該文提出了一種非阻塞無鎖通信優(yōu)化方法,和一種CMB保守同步算法的優(yōu)化算法——NMTRT-CMB同步算法.模擬不同并發(fā)規(guī)模的基于2D-Mesh網(wǎng)絡(luò)的眾核系統(tǒng)的實(shí)驗(yàn)結(jié)果表明,與基于鎖的并行通信方法相比,框架采用的非阻塞無鎖通信優(yōu)化方法可以提高并行模擬速度約10%,該算法與CMB同步算法相比,NMTRT-CMB同步算法可以減少空消息數(shù)量達(dá)90%以上.
[Abstract]:Large-scale parallel simulation is an important method to study big data architecture, which can not be substituted for the application of big data and the development of multi-core architecture. The current simulation technology can not meet the needs of big data architecture research, mainly reflected in the slow simulation speed, complex configuration process and poor scalability. In order to solve this problem. To evaluate the performance and power consumption of high-throughput multi-core architecture for big data application, a parallel simulation framework for big data application, BDSim-based, is proposed in this paper. The functional components and the frame service unit are composed of parallel function units, and the mapping relationship between the components and the framework service units can be freely configured according to the load situation. In order to improve the communication and synchronization efficiency between the components. In this paper, a non-blocking and lock-free communication optimization method is proposed. And an optimization algorithm of CMB conservative synchronization algorithm, NMTRT-CMB synchronization algorithm. The experimental results show that the multi-kernel system based on 2D-Mesh network with different concurrency scale is simulated. Compared with the Lock based parallel communication method, the non-blocking and lock-free communication optimization method used in the framework can improve the parallel simulation speed by about 10%, which is compared with the CMB synchronization algorithm. NMTRT-CMB synchronization algorithm can reduce the number of empty messages to more than 90%.
【作者單位】： 中國科學(xué)院計(jì)算技術(shù)研究所計(jì)算機(jī)體系結(jié)構(gòu)國家重點(diǎn)實(shí)驗(yàn)室;中國科學(xué)院大學(xué);華為技術(shù)有限公司中央研究院;高效能服務(wù)器和存儲技術(shù)國家重點(diǎn)實(shí)驗(yàn)室;數(shù)學(xué)工程與先進(jìn)計(jì)算國家重點(diǎn)實(shí)驗(yàn)室;
【基金】：國家“九七三”重點(diǎn)基礎(chǔ)研究發(fā)展規(guī)劃項(xiàng)目基金(2011CB302501) 國家“八六三”高技術(shù)研究發(fā)展計(jì)劃項(xiàng)目基金(2012AA010901,2015AA011204) “核高基”國家科技重大專項(xiàng)基金項(xiàng)目(2013ZX0102-8001-001-001) 國家自然科學(xué)基金(61173007,61204047,61332009)資助~~
【分類號】：TP332
【正文快照】： 李文明1),2)葉笑春1)張洋1),2)宋風(fēng)龍3)王達(dá)1)唐士斌4)范東睿1)謝向輝5)1)(中國科學(xué)院計(jì)算技術(shù)研究所計(jì)算機(jī)體系結(jié)構(gòu)國家重點(diǎn)實(shí)驗(yàn)室北京100190)2)(中國科學(xué)院大學(xué)北京100049)3)(華為技術(shù)有限公司中央研究院北京100085)4)(高效能服務(wù)器和存儲技術(shù)國家重點(diǎn)實(shí)驗(yàn)室北京100085)5)(

【參考文獻(xiàn)】

相關(guān)期刊論文 前3條

1 劉軼;支予哲;張昕;李鶴;焦林;張鵬;蘇陽明;倪澤輝;錢德沛;;SimHPC:一種基于執(zhí)行驅(qū)動的大規(guī)模并行系統(tǒng)模擬器[J];計(jì)算機(jī)學(xué)報;2013年04期

2 王元卓;靳小龍;程學(xué)旗;;網(wǎng)絡(luò)大數(shù)據(jù):現(xiàn)狀與展望[J];計(jì)算機(jī)學(xué)報;2013年06期

3 焦帥;徐衛(wèi)志;唐士斌;范東睿;孫凝暉;;PartitionSim:一個面向眾核結(jié)構(gòu)的并行模擬器[J];計(jì)算機(jī)學(xué)報;2011年11期

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 劉瓊;;大數(shù)據(jù)背景下圖書館服務(wù)體系創(chuàng)新與重構(gòu)[J];科技創(chuàng)新與應(yīng)用;2014年06期

2 陳為;李健;胡康;;食品藥品檢驗(yàn)行業(yè)大數(shù)據(jù)應(yīng)用探討[J];中國醫(yī)藥導(dǎo)刊;2014年02期

3 王小平;王建勇;楊塤;;采用云計(jì)算技術(shù)的網(wǎng)絡(luò)流量檢測[J];電訊技術(shù);2014年05期

4 邵澤云;劉正岐;;云計(jì)算關(guān)鍵技術(shù)研究[J];信息安全與技術(shù);2014年04期

5 李業(yè)志;陳艷;胡悅;;大數(shù)據(jù)在互聯(lián)網(wǎng)經(jīng)濟(jì)發(fā)展中的應(yīng)用[J];計(jì)算機(jī)光盤軟件與應(yīng)用;2014年08期

6 唐云善;魏勇;;基于分布式對象緩存的電力信息系統(tǒng)任務(wù)調(diào)度方法[J];電力信息與通信技術(shù);2014年04期

7 宣恒農(nóng);趙冬;苗春玲;劉田田;張潤馳;;系統(tǒng)級故障診斷綜述[J];電腦知識與技術(shù);2014年17期

8 張福利;;大數(shù)據(jù)研究中需要關(guān)注的幾個問題[J];鞍山師范學(xué)院學(xué)報;2014年04期

9 馬杰;邢影;;淺談大數(shù)據(jù)信息安全[J];河南財(cái)政稅務(wù)高等�？茖W(xué)校學(xué)報;2014年04期

10 劉蘭;林軍;蔡君;;面向大數(shù)據(jù)的異構(gòu)網(wǎng)絡(luò)安全監(jiān)控及關(guān)聯(lián)算法研究[J];電信科學(xué);2014年07期

相關(guān)會議論文 前1條

1 高露雄;肖志遠(yuǎn);王立海;;基于大數(shù)據(jù)環(huán)境的水文GIS應(yīng)用發(fā)展初探[A];大數(shù)據(jù)時代的信息化建設(shè)——2015（第三屆）中國水利信息化與數(shù)字水利技術(shù)論壇論文集[C];2015年

相關(guān)博士學(xué)位論文 前10條

1 王金寶;云計(jì)算系統(tǒng)中索引與查詢處理技術(shù)研究[D];哈爾濱工業(yè)大學(xué);2013年

2 韓海雯;MapReduce計(jì)算任務(wù)調(diào)度的資源配置優(yōu)化研究[D];華南理工大學(xué);2013年

3 章鐵飛;基于程序訪存模式的存儲系統(tǒng)節(jié)能技術(shù)研究[D];浙江大學(xué);2013年

4 陳紅梅;粗糙集中基于粒計(jì)算的動態(tài)知識更新方法研究[D];西南交通大學(xué);2013年

5 王俊昌;基于通用多核平臺的高速網(wǎng)絡(luò)處理系統(tǒng)關(guān)鍵技術(shù)研究[D];中國科學(xué)技術(shù)大學(xué);2014年

6 林宇斐;大規(guī)模并行計(jì)算通信可擴(kuò)展性—分析、優(yōu)化與模擬[D];國防科學(xué)技術(shù)大學(xué);2013年

7 張?zhí)m廷;大數(shù)據(jù)的社會價值與戰(zhàn)略選擇[D];中共中央黨校;2014年

8 苑衛(wèi)國;微博用戶行為分析和網(wǎng)絡(luò)結(jié)構(gòu)演化的研究[D];北京交通大學(xué);2014年

9 李春山;面向社會化媒體內(nèi)容的若干聚類算法研究[D];哈爾濱工業(yè)大學(xué);2014年

10 劉曉東;虛擬計(jì)算環(huán)境下性能可預(yù)測編程模型及其支撐技術(shù)研究[D];上海大學(xué);2014年

相關(guān)碩士學(xué)位論文 前10條

1 楊敏龍;基于RBF神經(jīng)網(wǎng)絡(luò)的多核設(shè)計(jì)空間探索預(yù)測模型[D];武漢理工大學(xué);2013年

2 劉恒;并發(fā)數(shù)據(jù)結(jié)構(gòu)及其在動態(tài)內(nèi)存管理中的應(yīng)用[D];重慶大學(xué);2013年

3 高軍;EDGE體系結(jié)構(gòu)指令動態(tài)映射算法研究[D];哈爾濱工業(yè)大學(xué);2012年

4 孟偉;企業(yè)即時通訊系統(tǒng)服務(wù)器的設(shè)計(jì)與實(shí)現(xiàn)[D];浙江工業(yè)大學(xué);2013年

5 王勛;面向非易失存儲器PCM的節(jié)能技術(shù)研究[D];浙江工業(yè)大學(xué);2013年

6 陳浩;基于Hadoop的微博用戶影響力排名算法研究[D];華東理工大學(xué);2014年

7 辛愿;面向嵌入式系統(tǒng)的自調(diào)數(shù)據(jù)預(yù)取[D];浙江大學(xué);2013年

8 胡妍;結(jié)合結(jié)構(gòu)級和門級的多核處理器功耗評估方法[D];湖南大學(xué);2013年

9 劉鵬舉;魯花公司發(fā)展互聯(lián)網(wǎng)營銷的分析與策略[D];浙江海洋學(xué)院;2014年

10 崔路云;基于大數(shù)據(jù)時代背景對統(tǒng)計(jì)學(xué)教育的幾點(diǎn)思考[D];首都經(jīng)濟(jì)貿(mào)易大學(xué);2014年

【二級參考文獻(xiàn)】

相關(guān)期刊論文 前8條

1 周傲英;金澈清;王國仁;李建中;;不確定性數(shù)據(jù)管理技術(shù)研究綜述[J];計(jì)算機(jī)學(xué)報;2009年01期

2 高明;金澈清;王曉玲;田秀霞;周傲英;;數(shù)據(jù)世系管理技術(shù)研究綜述[J];計(jì)算機(jī)學(xué)報;2010年03期

3 程學(xué)旗;郭嘉豐;靳小龍;;網(wǎng)絡(luò)信息的檢索與挖掘回顧[J];中文信息學(xué)報;2011年06期

4 宮學(xué)慶;金澈清;王曉玲;張蓉;周傲英;;數(shù)據(jù)密集型科學(xué)與工程:需求和挑戰(zhàn)[J];計(jì)算機(jī)學(xué)報;2012年08期

5 李國杰;程學(xué)旗;;大數(shù)據(jù)研究:未來科技及經(jīng)濟(jì)社會發(fā)展的重大戰(zhàn)略領(lǐng)域——大數(shù)據(jù)的研究現(xiàn)狀與科學(xué)思考[J];中國科學(xué)院院刊;2012年06期

6 郭志懋,周傲英;數(shù)據(jù)質(zhì)量和數(shù)據(jù)清洗研究綜述[J];軟件學(xué)報;2002年11期

7 劉偉;孟小峰;凌妍妍;;一種基于圖模型的Web數(shù)據(jù)庫采樣方法[J];軟件學(xué)報;2008年02期

8 許建衛(wèi);陳明宇;劉濤;楊偉;鄭規(guī);孫凝暉;;一種基于超步執(zhí)行的并行模擬平臺研究與實(shí)現(xiàn)[J];系統(tǒng)仿真學(xué)報;2009年15期

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 許建衛(wèi);陳明宇;劉濤;楊偉;鄭規(guī);孫凝暉;;一種基于超步執(zhí)行的并行模擬平臺研究與實(shí)現(xiàn)[J];系統(tǒng)仿真學(xué)報;2009年15期

2 成際鎮(zhèn),張金良,袁偉巍;面向事件的離散時間的網(wǎng)絡(luò)并行模擬方法[J];南京郵電學(xué)院學(xué)報;1996年04期

3 嚴(yán)歷;郭力;;二維宏觀擬顆粒并行模擬程序通信性能優(yōu)化策略[J];計(jì)算機(jī)與應(yīng)用化學(xué);2009年07期

4 鄭義;徐煒遐;汪審權(quán);;分布并行模擬平臺DPSIM的設(shè)計(jì)與實(shí)現(xiàn)[J];計(jì)算機(jī)工程與科學(xué);2009年S1期

5 吳志敏;呂慧偉;陳明宇;;一個針對并行模擬引擎的性能評測實(shí)例[J];計(jì)算機(jī)科學(xué);2013年03期

6 計(jì)衛(wèi)星;王永輝;宋紅;;一種面向M5的圖形化并行模擬技術(shù)研究[J];微電子學(xué)與計(jì)算機(jī);2010年08期

7 高德遠(yuǎn),程貴鑫,康繼昌;面向并行模擬機(jī)的path-CSA MOS開關(guān)模型及評價算法[J];航空學(xué)報;1993年09期

8 楊廉峰,吳金,夏君,劉其貴,魏同立;半導(dǎo)體器件模擬軟件的系統(tǒng)設(shè)計(jì)分析(英文)[J];Journal of Southeast University(English Edition);1999年02期

9 陳軍;董燁;楊溫淵;董志偉;;高功率微波三維全電磁PIC并行模擬[J];電子學(xué)報;2009年12期

10 李暾,李思昆,郭陽,劉功杰;支持并行模擬的Verilog編譯技術(shù)研究與實(shí)現(xiàn)[J];計(jì)算機(jī)工程與應(yīng)用;2002年16期

相關(guān)會議論文 前4條

1 鄭耀;張文普;張繼發(fā);;并行模擬與可視化平臺的原理和設(shè)計(jì)[A];計(jì)算流體力學(xué)研究進(jìn)展——第十二屆全國計(jì)算流體力學(xué)會議論文集[C];2004年

2 方曉健;何險峰;葛蔚;;顆粒大規(guī)模并行模擬的實(shí)時可視化[A];中國顆粒學(xué)會第七屆學(xué)術(shù)年會暨海峽兩岸顆粒技術(shù)研討會論文集[C];2010年

3 計(jì)衛(wèi)星;王永輝;宋紅;;一種面向M5的圖形化并行模擬技術(shù)研究[A];2010年全國開放式分布與并行計(jì)算機(jī)學(xué)術(shù)會議論文集[C];2010年

4 江濤;隋秀峰;張立新;侯銳;李龍;霍志剛;趙曉芳;孫凝暉;;并行模擬技術(shù)研究[A];第十五屆計(jì)算機(jī)工程與工藝年會暨第一屆微處理器技術(shù)論壇論文集（A輯）[C];2011年

相關(guān)碩士學(xué)位論文 前3條

1 石道鵬;分布并行模擬驗(yàn)證平臺同步技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2008年

2 單磊;大規(guī)模并行片上系統(tǒng)的分布式并行模擬關(guān)鍵技術(shù)研究[D];國防科學(xué)技術(shù)大學(xué);2012年

3 李勁明;EHDL并行模擬在PVM環(huán)境下的設(shè)計(jì)與實(shí)現(xiàn)[D];太原理工大學(xué);2003年

，

本文編號：1403471