【摘要】：并行編程是有效利用多核資源的重要方式。然而,傳統(tǒng)的并行編程模型要求程序員手動管理諸多的并發(fā)細節(jié),使得并行編程變得困難且易錯。MapReduce編程模型通過自動管理并發(fā)任務,簡化并行編程。Phoenix是MapReduce模型在多核系統(tǒng)上的一種實現(xiàn),它證明了應用程序通過使用MapReduce能夠獲得與Pthreads相媲美的性能。但是,Phoenix的可伸縮性較差。本文旨在分析影響Phoenix可伸縮性的關鍵因素,然后設計并實現(xiàn)一個具有較好可伸縮性的MapReduce庫SMR。本文的主要貢獻為:(1)通過實驗測試以及使用Linux Perf等性能分析工具,深入分析影響Phoenix可伸縮性與性能的關鍵因素。Phoenix因Pthreads線程對共享地址空間的競爭導致其較差的可伸縮性,因map和reduce階段間存在同步屏障影響性能。(2)利用課題組已有的新型線程模型Sthread,設計并實現(xiàn)一個Phoenix接口兼容且具有較好可伸縮性的MapReduce庫SMR。SMR通過避免多個線程對共享地址空間的競爭,提升系統(tǒng)的可伸縮性;通過讓map和reduce階段間的無阻塞流水線并行,提升系統(tǒng)的性能。(3)在一臺32核機器上使用Phoenix測試程序?qū)MR和Phoenix進行性能評估,還分析了近年來Linux內(nèi)核的優(yōu)化對多核MapReduce庫可伸縮性與性能的影響。實驗結果表明,基于SMR運行的五個測試用例都具有較好的可伸縮性和性能。32核CPU下,SMR相比Phoenix的性能提升為9.0倍～26.7倍。Linux內(nèi)核的優(yōu)化能夠有效提升Phoenix的執(zhí)行效率,而對于SMR的影響較小。(4)為了高效支持迭代型MapReduce應用,本文初步設計并實現(xiàn)了面向多核可伸縮的迭代式MapReduce庫iSMR。SMR因每次迭代計算都需要重復地創(chuàng)建和銷毀環(huán)境,浪費大量的時間,致使其無法高效地支持迭代型應用。iSMR只在處理流程的開始和結束時創(chuàng)建和銷毀環(huán)境,并且它采用線程池復用線程,以提升迭代型應用的處理效率。本文提出的SMR為程序員提供了一種簡單高效的方式使用多核資源。此外,本文關于多核MapReduce庫可伸縮性的分析,對其他Pthreads程序的分析具有指導意義;關于近年來Linux內(nèi)核優(yōu)化的分析,對Linux的相關研究工作具有參考價值。
[Abstract]:Parallel programming is an important way to utilize multi-core resources effectively. However, the traditional parallel programming model requires programmers to manage many concurrency details manually, which makes parallel programming difficult and error-prone. The MapReduce programming model manages concurrent tasks automatically. Simplified parallel programming. Phoenix is an implementation of the MapReduce model on multi-core systems, which proves that applications can achieve performance comparable to Pthreads by using MapReduce. However, Phoenix has poor scalability. The purpose of this article is to analyze the key factors that affect the scalability of Phoenix, and then design and implement a MapReduce library SMR. with good scalability. The main contributions of this paper are as follows: (1) through experimental testing and using Linux Perf and other performance analysis tools, Deeply analyze the key factors that affect the scalability and performance of Phoenix. Phoenix has poor scalability due to the competition between Pthreads threads and shared address space. Due to the existence of synchronization barrier between map and reduce phase, the performance is affected. (2) using Sthread, a new thread model, which has been developed by our research group. A Phoenix interface compatible and scalable MapReduce library SMR.SMR is designed and implemented to enhance the scalability of the system by avoiding the competition of multiple threads on the shared address space. The performance of the system is improved by parallel non-blocking pipeline between map and reduce. (3) using Phoenix test program to evaluate the performance of SMR and Phoenix on a 32-core machine. The effects of Linux kernel optimization on the scalability and performance of multi-core MapReduce libraries are also analyzed. The experimental results show that the five test cases based on SMR have good scalability and performance. Under 32 core CPU, the performance of SMR is 9.0 ~ 26.7 times higher than that of Phoenix. The optimization of Linux kernel can effectively improve the execution efficiency of Phoenix. In order to support the iterative MapReduce application efficiently, this paper designs and implements a multi-core scalable iterative MapReduce library iSMR.SMR, which needs to create and destroy the environment repeatedly for each iteration calculation. ISMR only creates and destroys the environment at the beginning and end of the processing process, and it uses thread pool to reuse threads to improve the processing efficiency of iterative applications. The proposed SMR provides programmers with a simple and efficient way to use multicore resources. In addition, the analysis of the scalability of multi-core MapReduce libraries is of guiding significance to the analysis of other Pthreads programs, and the analysis of Linux kernel optimization in recent years has a reference value for the research work of Linux.
【學位授予單位】：中國科學技術大學
【學位級別】：碩士
【學位授予年份】：2017
【分類號】：TP311.1

【相似文獻】

相關期刊論文 前10條

1 ;A Difference Method of the Gravity Center with Double Pilots for the MC CDMA System[J];The Journal of China Universities of Posts and Telecommunications;2000年04期

2 劉巍;吉祥鳳凰與亮麗彩虹——Phoenix與同濟大學共建自動化實驗室[J];自動化博覽;2002年01期

3 ;刺激1998[J];軟件世界;1998年12期

4 ;搖擺爵士——Phoenix Gold全車音響解決方案[J];音響改裝技術;2009年01期

5 陳子超;;Phoenix瀏覽器[J];軟件導刊;2003年04期

6 ;Phoenix BIOS的ID識別技術[J];個人電腦;2004年08期

7 郝顏;涂碧波;詹劍鋒;孟丹;;Phoenix集群操作系統(tǒng)Web Portal的設計與實現(xiàn)[J];計算機工程;2006年15期

8 ;Methods for Industrial Measurement and Basic Principles of Their Choices[J];Geo-Spatial Information Science;2002年02期

9 王欣;;安心使用 Phoenix Recover Pro 6[J];個人電腦;2006年07期

10 馬天蔚;劉燕之;;終端安全招來鳳凰——訪Phoenix全球CEO兼總裁Albert E.Sisto[J];每周電腦報;2006年18期

相關會議論文 前1條

1 趙忠;楊秀蓮;;Phoenix-100全自動微生物鑒定／藥敏系統(tǒng)的臨床應用及評價[A];第九屆西北五�。▍^(qū)）檢驗醫(yī)學學術會議論文匯編[C];2005年

相關重要報紙文章 前8條

1 ;一個時代的終結[N];中國電腦教育報;2009年

2 金文;力挺3G自有標準 聯(lián)想手機捷報頻傳[N];中國質(zhì)量報;2007年

3 洪培能;采用Phoenix BIOS主板的一個隱藏功能[N];中國電腦教育報;2003年

4 Rebios.net 王慶東;Phoenix的FirstBIOS技術簡析[N];電腦報;2003年

5 福建 林峰杰;Modem損壞引起黑屏[N];電腦報;2005年

6 飛翔的戰(zhàn)羽;下一代你了解多少[N];中國電腦教育報;2004年

7 上海 大海馬、小Paul;BIOS控制著什么[N];電腦報;2004年

8 陳國雄　通訊員　 李品 馬楚煒;地中海PHOENIX首航南沙[N];中國水運報;2007年

相關碩士學位論文 前4條

1 向晟;乍得Phoenix工區(qū)潛山優(yōu)質(zhì)儲層和有利區(qū)預測[D];東北石油大學;2016年

2 俞玉芬;面向多核可伸縮的MapReduce庫的研究[D];中國科學技術大學;2017年

3 陳慈;基于多核的Ramsey數(shù)算法研究[D];北京交通大學;2015年

4 曹慧芳;多核下可擴放確定性并行的MapReduce[D];中國科學技術大學;2015年

，

本文編號：2417288