本文關(guān)鍵詞：通用可擴(kuò)展的分布式文件系統(tǒng)性能測(cè)試框架研究與實(shí)現(xiàn)　出處：《南京大學(xué)》2016年碩士論文　論文類型：學(xué)位論文

  更多相關(guān)文章： 分布式文件系統(tǒng) 性能測(cè)試 可擴(kuò)展性

【摘要】：分布式文件系統(tǒng)(DFS, Distributed File System)構(gòu)成了分布式計(jì)算的基礎(chǔ),是如今日益發(fā)展的大數(shù)據(jù)應(yīng)用的重要核心之一。經(jīng)過數(shù)十年的發(fā)展,目前存在種類繁多的分布式文件系統(tǒng),它們具有不同的設(shè)計(jì)目標(biāo)和特點(diǎn)。針對(duì)不同的特點(diǎn),在運(yùn)行大數(shù)據(jù)應(yīng)用時(shí)需要不同的集群環(huán)境和配置,因此,充分了解分布式文件系統(tǒng)的性能和特性就顯得極其重要。一方面,用戶需要根據(jù)性能測(cè)試結(jié)果為目標(biāo)應(yīng)用選擇最合適的分布式文件系統(tǒng)：另一方面,開發(fā)者需要一個(gè)性能測(cè)試框架以進(jìn)行分布式文件系統(tǒng)的調(diào)優(yōu)工作；進(jìn)一步地,性能測(cè)試能夠很好地反映出現(xiàn)有分布式文件系統(tǒng)的瓶頸,為新系統(tǒng)的研究和開發(fā)提供指導(dǎo)。現(xiàn)有的分布式文件系統(tǒng)性能測(cè)試工具提供的覆蓋面有限,并且大都側(cè)重于特定功能的測(cè)試,缺乏一個(gè)統(tǒng)一的性能測(cè)試框架,而實(shí)現(xiàn)一個(gè)理想的分布式文件系統(tǒng)性能測(cè)試框架面臨著諸多困難和挑戰(zhàn)。首先,該框架必須是通用可擴(kuò)展的,能夠方便地對(duì)不同的分布式文件系統(tǒng)進(jìn)行性能測(cè)試；其次,它需要提供靈活的、可定制的測(cè)試用例,以滿足不同的用戶需求和應(yīng)用特性；最后,測(cè)試框架要能夠適應(yīng)不同的分布式環(huán)境,并且不能明顯地影響分布式文件系統(tǒng)本身的性能,以得到準(zhǔn)確可靠的測(cè)試結(jié)果。本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)通用可擴(kuò)展的分布式文件系統(tǒng)性能測(cè)試框架,DFS-Perf,以實(shí)現(xiàn)對(duì)現(xiàn)有的和新的目標(biāo)分布式文件系統(tǒng)進(jìn)行性能比較。DFS-Perf支持多種并行測(cè)試模式,能夠在不同的分布式文件系統(tǒng)上運(yùn)行一系列典型的測(cè)試用例。本文的主要貢獻(xiàn)點(diǎn)有：(1)設(shè)計(jì)并實(shí)現(xiàn)了DFS-Perf,一個(gè)通用的、高度可擴(kuò)展的、易使用的分布式文件系統(tǒng)測(cè)試框架。DFS-Perf能夠以多節(jié)點(diǎn)、多進(jìn)程和多線程的并行方式對(duì)不同的分布式文件系統(tǒng)進(jìn)行性能測(cè)試,并且支持添加新的目標(biāo)系統(tǒng)和測(cè)試用例。(2)通過分析現(xiàn)有大數(shù)據(jù)應(yīng)用的文件訪問模式,設(shè)計(jì)并實(shí)現(xiàn)了一系列典型的測(cè)試用例。同時(shí), DFS-Perf支持自動(dòng)地從運(yùn)行在分布式文件系統(tǒng)之上的應(yīng)用中獲取文件操作記錄,分析其文件訪問模式,并生成能夠模擬這些應(yīng)用特性的測(cè)試用例。(3)在一個(gè)具有40個(gè)物理節(jié)點(diǎn),共960個(gè)核的集群環(huán)境上使用DFS-Perf對(duì)四個(gè)具有代表性的分布式文件系統(tǒng),Alluxio、CephFS、GlusterFS以及HDFS進(jìn)行了性能和可擴(kuò)展性測(cè)試實(shí)驗(yàn)。進(jìn)一步地,通過對(duì)比實(shí)驗(yàn)驗(yàn)證了DFS-Perf最多只引入了5.7%的額外開銷。(4)根據(jù)性能測(cè)試結(jié)果,對(duì)比了不同分布式文件系統(tǒng)的設(shè)計(jì)決策,分析了產(chǎn)生性能瓶頸的具體原因,總結(jié)出不同特性對(duì)性能造成的影響。同時(shí),也利用DFS-Perf發(fā)現(xiàn)和解決了常用分布式文件系統(tǒng)中的性能問題。
[Abstract]:Distributed file system (DFS, Distributed File system) forms the foundation of distributed computing. After decades of development, there are a variety of distributed file systems, which have different design objectives and characteristics. Different cluster environments and configurations are required to run the big data application, so it is extremely important to fully understand the performance and features of distributed file systems. Users need to select the most suitable distributed file system according to the performance test results. On the other hand, developers need a performance testing framework to optimize the distributed file system. Furthermore, performance testing can well reflect the bottleneck of distributed file system and provide guidance for the research and development of new system. The existing distributed file system performance testing tools provide limited coverage. And most of them focus on the test of specific functions, and lack of a unified performance testing framework, and the implementation of an ideal distributed file system performance testing framework is facing many difficulties and challenges. First of all. The framework must be general-purpose and extensible, and it can easily test the performance of different distributed file systems. Second, it needs to provide flexible, customizable test cases to meet different user needs and application features; Finally, the test framework should be able to adapt to different distributed environments and not significantly affect the performance of the distributed file system itself. In order to obtain accurate and reliable test results, this paper designs and implements a general extensible distributed file system performance testing framework named DFS-Perf. To achieve performance comparison between existing and new target distributed file systems. DFS-Perf supports multiple parallel test modes. A series of typical test cases can be run on different distributed file systems. The main contribution of this paper is the design and implementation of DFS-Perf. a general-purpose and highly extensible. The easy-to-use distributed file system testing framework .DFS-Perf can test the performance of different distributed file systems in a multi-node, multi-process and multi-thread parallel manner. And support to add new target system and test case. 2) A series of typical test cases are designed and implemented by analyzing the file access pattern of existing big data application. At the same time. DFS-Perf supports automatically obtaining file operation records from applications running on distributed file systems and analyzing their file access patterns. And generate test cases that can simulate these application features in one of 40 physical nodes. In a 960 core cluster environment, DFS-Perf is used for four representative distributed file systems, such as Alluxio / CephFS. GlusterFS and HDFS are tested for performance and extensibility. Through the contrast experiment, it is verified that DFS-Perf only introduces 5.7% extra cost at most.) according to the performance test results, the design decisions of different distributed file systems are compared. The causes of the performance bottleneck are analyzed, and the effects of different characteristics on performance are summarized. At the same time, the performance problems in distributed file systems are also found and solved by using DFS-Perf.
【學(xué)位授予單位】：南京大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP311.52

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 陳劍;龔發(fā)根;;一種優(yōu)化分布式文件系統(tǒng)的文件合并策略[J];計(jì)算機(jī)應(yīng)用;2011年S2期

2 郎為民;楊德鵬;;云計(jì)算中的分布式文件系統(tǒng)[J];電信快報(bào);2012年02期

3 陳文捷;蔡立志;樓志斌;王潔萍;李海波;;應(yīng)用級(jí)分布式文件系統(tǒng)接口標(biāo)準(zhǔn)化探索[J];信息技術(shù)與標(biāo)準(zhǔn)化;2012年10期

4 應(yīng)朝暉，高洪奎，，黃若衡;分布式文件系統(tǒng)[J];計(jì)算機(jī)工程與科學(xué);1995年03期

5 盧軍;盧顯良;韓宏;許騰;;基于移動(dòng)Agent的新型分布式文件系統(tǒng)研究[J];計(jì)算機(jī)科學(xué);2002年10期

6 寒江約叟;N個(gè)資源一次看——分布式文件系統(tǒng)妙用[J];電腦應(yīng)用文萃;2004年07期

7 黃華,張建剛,許魯;藍(lán)鯨分布式文件系統(tǒng)的分布式分層資源管理模型[J];計(jì)算機(jī)研究與發(fā)展;2005年06期

8 黃華;張建剛;許魯;;藍(lán)鯨分布式文件系統(tǒng)的客戶端元數(shù)據(jù)緩存模型[J];計(jì)算機(jī)科學(xué);2005年09期

9 黃華;張敬亮;張建剛;許魯;;藍(lán)鯨分布式文件系統(tǒng)的物理資源管理模型[J];計(jì)算機(jī)工程;2006年06期

10 陰四海;王文杰;李秀斌;范軍濤;;并行分布式文件系統(tǒng)的改進(jìn)[J];計(jì)算機(jī)應(yīng)用;2007年S2期

相關(guān)會(huì)議論文 前4條

1 華清;黃林鵬;;基于分片、松耦合的分布式文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];2006年全國(guó)開放式分布與并行計(jì)算學(xué)術(shù)會(huì)議論文集（二）[C];2006年

2 洪穗;;微軟WINDOWS Server 2003 R2分布式文件系統(tǒng)解決方案分析[A];中國(guó)新聞技術(shù)工作者聯(lián)合會(huì)2008年學(xué)術(shù)年會(huì)論文集（上）[C];2008年

3 羅志明;張大華;王電鋼;常健;;電力分布式云存儲(chǔ)關(guān)鍵技術(shù)研究[A];2012年電力通信管理暨智能電網(wǎng)通信技術(shù)論壇論文集[C];2013年

4 徐文斌;;大數(shù)據(jù)時(shí)代的交管綜合應(yīng)用云平臺(tái)[A];第八屆中國(guó)智能交通年會(huì)論文集[C];2013年

相關(guān)重要報(bào)紙文章 前10條

1 國(guó)家高性能計(jì)算機(jī)工程技術(shù)研究中心 黃華 楊德志 張建剛;分布式文件系統(tǒng)的歷史與現(xiàn)狀[N];中國(guó)計(jì)算機(jī)報(bào);2005年

2 國(guó)家高性能計(jì)算機(jī)工程技術(shù)研究中心 黃華 楊德志 張建剛;分布式文件系統(tǒng)趨向成熟[N];中國(guó)計(jì)算機(jī)報(bào);2005年

3 國(guó)防科學(xué)技術(shù)大學(xué)計(jì)算機(jī)學(xué)院軟件所 董勇 周恩強(qiáng);構(gòu)建分布式文件系統(tǒng)[N];中國(guó)計(jì)算機(jī)報(bào);2005年

4 ;分布式文件系統(tǒng)一瞥[N];網(wǎng)絡(luò)世界;2002年

5 王春海 劉立;分布式文件系統(tǒng)在網(wǎng)絡(luò)中的應(yīng)用[N];電腦報(bào);2004年

6 ;Hadoop：為構(gòu)建海量數(shù)據(jù)架構(gòu)而生[N];人民郵電;2012年

7 本報(bào)記者 于翔;“大數(shù)據(jù)”的大承諾[N];網(wǎng)絡(luò)世界;2010年

8 IBM大數(shù)據(jù)專家 James Kobielus　范范 編譯;YARN動(dòng)搖了MapReduce對(duì)Hadoop的掌控[N];網(wǎng)絡(luò)世界;2013年

9 張力平;云計(jì)算和物聯(lián)網(wǎng)的美妙融合[N];學(xué)習(xí)時(shí)報(bào);2014年

10 《網(wǎng)絡(luò)世界》記者 于翔;大數(shù)據(jù)治理多管齊下[N];網(wǎng)絡(luò)世界;2012年

相關(guān)博士學(xué)位論文 前4條

1 趙鐵柱;分布式文件系統(tǒng)性能建模及應(yīng)用研究[D];華南理工大學(xué);2011年

2 史小冬;分布式文件系統(tǒng)高可用問題研究[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2002年

3 黃華;藍(lán)鯨分布式文件系統(tǒng)的資源管理[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2005年

4 楊德志;分布式文件系統(tǒng)可擴(kuò)展元數(shù)據(jù)服務(wù)關(guān)鍵問題研究[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2008年

相關(guān)碩士學(xué)位論文 前10條

1 冷志強(qiáng);基于分布式文件系統(tǒng)GlusterFS的橫向擴(kuò)展云存儲(chǔ)的研究與實(shí)現(xiàn)[D];復(fù)旦大學(xué);2014年

2 黎斌;基于HDFS的分布式文件系統(tǒng)存儲(chǔ)研究與優(yōu)化[D];電子科技大學(xué);2015年

3 何雄;大小文件跨網(wǎng)絡(luò)集群快速遷移協(xié)議[D];電子科技大學(xué);2015年

4 焦晨宇;可伸縮分布式文件系統(tǒng)及其應(yīng)用[D];北京理工大學(xué);2015年

5 譙林飛;云計(jì)算環(huán)境中分布式文件系統(tǒng)數(shù)據(jù)一致性問題研究[D];電子科技大學(xué);2014年

6 秦小寒;優(yōu)化性能的分布式存儲(chǔ)子系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

7 牛升;分布式文件系統(tǒng)的負(fù)載均衡策略研究[D];電子科技大學(xué);2014年

8 郭建國(guó);基于分布式文件系統(tǒng)FastDFS的圖片服務(wù)器件設(shè)計(jì)與應(yīng)用[D];中國(guó)科學(xué)院大學(xué)(工程管理與信息技術(shù)學(xué)院);2015年

9 白鋮;一種分布式文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

10 吳霖;分布式微信公眾平臺(tái)爬蟲系統(tǒng)的研究與應(yīng)用[D];南華大學(xué);2015年

本文編號(hào)：1380299