本文關鍵詞：通用可擴展的分布式文件系統(tǒng)性能測試框架研究與實現(xiàn)　出處：《南京大學》2016年碩士論文　論文類型：學位論文

  更多相關文章： 分布式文件系統(tǒng) 性能測試 可擴展性

【摘要】：分布式文件系統(tǒng)(DFS, Distributed File System)構成了分布式計算的基礎,是如今日益發(fā)展的大數(shù)據(jù)應用的重要核心之一。經(jīng)過數(shù)十年的發(fā)展,目前存在種類繁多的分布式文件系統(tǒng),它們具有不同的設計目標和特點。針對不同的特點,在運行大數(shù)據(jù)應用時需要不同的集群環(huán)境和配置,因此,充分了解分布式文件系統(tǒng)的性能和特性就顯得極其重要。一方面,用戶需要根據(jù)性能測試結果為目標應用選擇最合適的分布式文件系統(tǒng)：另一方面,開發(fā)者需要一個性能測試框架以進行分布式文件系統(tǒng)的調優(yōu)工作；進一步地,性能測試能夠很好地反映出現(xiàn)有分布式文件系統(tǒng)的瓶頸,為新系統(tǒng)的研究和開發(fā)提供指導。現(xiàn)有的分布式文件系統(tǒng)性能測試工具提供的覆蓋面有限,并且大都側重于特定功能的測試,缺乏一個統(tǒng)一的性能測試框架,而實現(xiàn)一個理想的分布式文件系統(tǒng)性能測試框架面臨著諸多困難和挑戰(zhàn)。首先,該框架必須是通用可擴展的,能夠方便地對不同的分布式文件系統(tǒng)進行性能測試；其次,它需要提供靈活的、可定制的測試用例,以滿足不同的用戶需求和應用特性；最后,測試框架要能夠適應不同的分布式環(huán)境,并且不能明顯地影響分布式文件系統(tǒng)本身的性能,以得到準確可靠的測試結果。本文設計并實現(xiàn)了一個通用可擴展的分布式文件系統(tǒng)性能測試框架,DFS-Perf,以實現(xiàn)對現(xiàn)有的和新的目標分布式文件系統(tǒng)進行性能比較。DFS-Perf支持多種并行測試模式,能夠在不同的分布式文件系統(tǒng)上運行一系列典型的測試用例。本文的主要貢獻點有：(1)設計并實現(xiàn)了DFS-Perf,一個通用的、高度可擴展的、易使用的分布式文件系統(tǒng)測試框架。DFS-Perf能夠以多節(jié)點、多進程和多線程的并行方式對不同的分布式文件系統(tǒng)進行性能測試,并且支持添加新的目標系統(tǒng)和測試用例。(2)通過分析現(xiàn)有大數(shù)據(jù)應用的文件訪問模式,設計并實現(xiàn)了一系列典型的測試用例。同時, DFS-Perf支持自動地從運行在分布式文件系統(tǒng)之上的應用中獲取文件操作記錄,分析其文件訪問模式,并生成能夠模擬這些應用特性的測試用例。(3)在一個具有40個物理節(jié)點,共960個核的集群環(huán)境上使用DFS-Perf對四個具有代表性的分布式文件系統(tǒng),Alluxio、CephFS、GlusterFS以及HDFS進行了性能和可擴展性測試實驗。進一步地,通過對比實驗驗證了DFS-Perf最多只引入了5.7%的額外開銷。(4)根據(jù)性能測試結果,對比了不同分布式文件系統(tǒng)的設計決策,分析了產(chǎn)生性能瓶頸的具體原因,總結出不同特性對性能造成的影響。同時,也利用DFS-Perf發(fā)現(xiàn)和解決了常用分布式文件系統(tǒng)中的性能問題。
[Abstract]:Distributed file system (DFS, Distributed File system) forms the foundation of distributed computing. After decades of development, there are a variety of distributed file systems, which have different design objectives and characteristics. Different cluster environments and configurations are required to run the big data application, so it is extremely important to fully understand the performance and features of distributed file systems. Users need to select the most suitable distributed file system according to the performance test results. On the other hand, developers need a performance testing framework to optimize the distributed file system. Furthermore, performance testing can well reflect the bottleneck of distributed file system and provide guidance for the research and development of new system. The existing distributed file system performance testing tools provide limited coverage. And most of them focus on the test of specific functions, and lack of a unified performance testing framework, and the implementation of an ideal distributed file system performance testing framework is facing many difficulties and challenges. First of all. The framework must be general-purpose and extensible, and it can easily test the performance of different distributed file systems. Second, it needs to provide flexible, customizable test cases to meet different user needs and application features; Finally, the test framework should be able to adapt to different distributed environments and not significantly affect the performance of the distributed file system itself. In order to obtain accurate and reliable test results, this paper designs and implements a general extensible distributed file system performance testing framework named DFS-Perf. To achieve performance comparison between existing and new target distributed file systems. DFS-Perf supports multiple parallel test modes. A series of typical test cases can be run on different distributed file systems. The main contribution of this paper is the design and implementation of DFS-Perf. a general-purpose and highly extensible. The easy-to-use distributed file system testing framework .DFS-Perf can test the performance of different distributed file systems in a multi-node, multi-process and multi-thread parallel manner. And support to add new target system and test case. 2) A series of typical test cases are designed and implemented by analyzing the file access pattern of existing big data application. At the same time. DFS-Perf supports automatically obtaining file operation records from applications running on distributed file systems and analyzing their file access patterns. And generate test cases that can simulate these application features in one of 40 physical nodes. In a 960 core cluster environment, DFS-Perf is used for four representative distributed file systems, such as Alluxio / CephFS. GlusterFS and HDFS are tested for performance and extensibility. Through the contrast experiment, it is verified that DFS-Perf only introduces 5.7% extra cost at most.) according to the performance test results, the design decisions of different distributed file systems are compared. The causes of the performance bottleneck are analyzed, and the effects of different characteristics on performance are summarized. At the same time, the performance problems in distributed file systems are also found and solved by using DFS-Perf.
【學位授予單位】：南京大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP311.52

【相似文獻】

相關期刊論文 前10條

1 陳劍;龔發(fā)根;;一種優(yōu)化分布式文件系統(tǒng)的文件合并策略[J];計算機應用;2011年S2期

2 郎為民;楊德鵬;;云計算中的分布式文件系統(tǒng)[J];電信快報;2012年02期

3 陳文捷;蔡立志;樓志斌;王潔萍;李海波;;應用級分布式文件系統(tǒng)接口標準化探索[J];信息技術與標準化;2012年10期

4 應朝暉，高洪奎，黃若衡;分布式文件系統(tǒng)[J];計算機工程與科學;1995年03期

5 盧軍;盧顯良;韓宏;許騰;;基于移動Agent的新型分布式文件系統(tǒng)研究[J];計算機科學;2002年10期

6 寒江約叟;N個資源一次看——分布式文件系統(tǒng)妙用[J];電腦應用文萃;2004年07期

7 黃華,張建剛,許魯;藍鯨分布式文件系統(tǒng)的分布式分層資源管理模型[J];計算機研究與發(fā)展;2005年06期

8 黃華;張建剛;許魯;;藍鯨分布式文件系統(tǒng)的客戶端元數(shù)據(jù)緩存模型[J];計算機科學;2005年09期

9 黃華;張敬亮;張建剛;許魯;;藍鯨分布式文件系統(tǒng)的物理資源管理模型[J];計算機工程;2006年06期

10 陰四海;王文杰;李秀斌;范軍濤;;并行分布式文件系統(tǒng)的改進[J];計算機應用;2007年S2期

相關會議論文 前4條

1 華清;黃林鵬;;基于分片、松耦合的分布式文件系統(tǒng)的設計與實現(xiàn)[A];2006年全國開放式分布與并行計算學術會議論文集（二）[C];2006年

2 洪穗;;微軟WINDOWS Server 2003 R2分布式文件系統(tǒng)解決方案分析[A];中國新聞技術工作者聯(lián)合會2008年學術年會論文集（上）[C];2008年

3 羅志明;張大華;王電鋼;常健;;電力分布式云存儲關鍵技術研究[A];2012年電力通信管理暨智能電網(wǎng)通信技術論壇論文集[C];2013年

4 徐文斌;;大數(shù)據(jù)時代的交管綜合應用云平臺[A];第八屆中國智能交通年會論文集[C];2013年

相關重要報紙文章 前10條

1 國家高性能計算機工程技術研究中心 黃華 楊德志 張建剛;分布式文件系統(tǒng)的歷史與現(xiàn)狀[N];中國計算機報;2005年

2 國家高性能計算機工程技術研究中心 黃華 楊德志 張建剛;分布式文件系統(tǒng)趨向成熟[N];中國計算機報;2005年

3 國防科學技術大學計算機學院軟件所 董勇 周恩強;構建分布式文件系統(tǒng)[N];中國計算機報;2005年

4 ;分布式文件系統(tǒng)一瞥[N];網(wǎng)絡世界;2002年

5 王春海 劉立;分布式文件系統(tǒng)在網(wǎng)絡中的應用[N];電腦報;2004年

6 ;Hadoop：為構建海量數(shù)據(jù)架構而生[N];人民郵電;2012年

7 本報記者 于翔;“大數(shù)據(jù)”的大承諾[N];網(wǎng)絡世界;2010年

8 IBM大數(shù)據(jù)專家 James Kobielus　范范 編譯;YARN動搖了MapReduce對Hadoop的掌控[N];網(wǎng)絡世界;2013年

9 張力平;云計算和物聯(lián)網(wǎng)的美妙融合[N];學習時報;2014年

10 《網(wǎng)絡世界》記者 于翔;大數(shù)據(jù)治理多管齊下[N];網(wǎng)絡世界;2012年

相關博士學位論文 前4條

1 趙鐵柱;分布式文件系統(tǒng)性能建模及應用研究[D];華南理工大學;2011年

2 史小冬;分布式文件系統(tǒng)高可用問題研究[D];中國科學院研究生院（計算技術研究所）;2002年

3 黃華;藍鯨分布式文件系統(tǒng)的資源管理[D];中國科學院研究生院（計算技術研究所）;2005年

4 楊德志;分布式文件系統(tǒng)可擴展元數(shù)據(jù)服務關鍵問題研究[D];中國科學院研究生院（計算技術研究所）;2008年

相關碩士學位論文 前10條

1 冷志強;基于分布式文件系統(tǒng)GlusterFS的橫向擴展云存儲的研究與實現(xiàn)[D];復旦大學;2014年

2 眭椰敏;阿里云分布式文件系統(tǒng)客戶端的設計與實現(xiàn)[D];南京大學;2014年

3 周克利;分布式文件系統(tǒng)中的若干關鍵算法研究[D];南京大學;2013年

4 董乾豪;通用可擴展的分布式文件系統(tǒng)性能測試框架研究與實現(xiàn)[D];南京大學;2016年

5 周濤;分布式文件系統(tǒng)的研究[D];電子科技大學;2005年

6 林凌;大規(guī)模分布式文件系統(tǒng)的研究與實現(xiàn)[D];福州大學;2006年

7 胡雨壯;分布式文件系統(tǒng)吞吐率優(yōu)化研究[D];中國科學院研究生院（計算技術研究所）;2002年

8 吳晨濤;分布式文件系統(tǒng)中對象存儲目標鏡像的設計與實現(xiàn)[D];華中科技大學;2006年

9 張紅林;分布式文件系統(tǒng)中集中安全管理服務器設計與實現(xiàn)[D];華中科技大學;2011年

10 谷方舟;云計算環(huán)境中分布式文件系統(tǒng)的負載均衡問題研究[D];北京交通大學;2012年

，

本文編號：1380300