本文選題：Linux + 文件系統(tǒng)�。� 參考：《上海交通大學》2013年碩士論文

【摘要】：長期以來，計算機其他部件如CPU，內存等性能快速提升，而磁盤由于其固有的機械運動的限制，性能已難以提高，成為制約系統(tǒng)性能的瓶頸。而在一些特定的應用場景如web應用環(huán)境中，保存在web服務器上的文件數(shù)量特別多（千萬至億），單個文件比較�。↘B級別），現(xiàn)有的文件系統(tǒng)在這類應用中也存在著明顯不足。如何更高效地組織管理web服務器上的小文件，提升小文件的I/O性能一直是學術界和產(chǎn)業(yè)界研究的熱點。 本文針對現(xiàn)有文件系統(tǒng)對小文件存儲優(yōu)化作了較為深入的分析和研究，設計并實現(xiàn)了適應小文件應用環(huán)境的文件系統(tǒng)Sfs。論文的主要工作如下： 1.對當前IT發(fā)展趨勢作了概要性的分析，提出了在當前互聯(lián)網(wǎng)和云時代存儲面臨的迫切需求和嚴峻挑戰(zhàn)； 2.分析研究現(xiàn)有文件系統(tǒng)的主要結構和部分實現(xiàn)細節(jié)，尤為關注其針對小文件的性能優(yōu)化策略。論文中不僅分析了Linux內核支持的如Ext2、Ext3、Xfs、Reiserfs等本地文件系統(tǒng)，同時更涉及了當今世界著名互聯(lián)網(wǎng)企業(yè)和開源項目組針對其業(yè)務特點而設計的存儲方案，如Facebook的Haystack，淘寶的Tfs等； 3.詳細描述了針對小文件應用環(huán)境設計的服務器文件系統(tǒng)Sfs。在磁盤布局方面，Sfs摒棄了傳統(tǒng)文件系統(tǒng)按固定大小劃分磁盤塊的做法，采用磁盤劃分卷，卷中動態(tài)分塊的策略，以適應應用環(huán)境中各種大小文件的存儲需求；盡量簡化文件元數(shù)據(jù)，簡化后的元數(shù)據(jù)減少了文件讀寫時的I/O交互次數(shù)，也可以在內存中緩存盡量多的文件元數(shù)據(jù)；在文件系統(tǒng)接口設計上，Sfs提供簡單但高效的API，利于文件系統(tǒng)的處理效率，同時為Sfs設計了小對象內存池，進一步優(yōu)化文件系統(tǒng)處理效率； 4.自行設計文件系統(tǒng)測試工具，分別測試文件系統(tǒng)I/O吞吐率和IOPS，以驗證在小文件應用環(huán)境中Sfs的有效性。 測試結果表明，通過更合理的設計和簡化的實現(xiàn)，，Sfs在處理小文件時有著更好的I/O吞吐性能和更高的IOPS。
[Abstract]:For a long time, the performance of other computer components, such as CPU, memory and so on, has been rapidly improved. However, due to the limitation of its inherent mechanical movement, the performance of disk has been difficult to improve, which has become the bottleneck restricting the performance of the system. However, in some specific application scenarios such as web application environment, the number of files stored on web server is especially large (tens of millions to billions), the single file is relatively small (KB level), and the existing file system also has obvious shortcomings in this kind of application. How to organize and manage small files on web server more efficiently and improve the I / O performance of small files has always been a hot topic in academia and industry. This paper analyzes and studies the optimization of small file storage for existing file systems, and designs and implements a file system Sfswhich is suitable for the application environment of small files. The main work of this paper is as follows: 1. This paper gives a brief analysis of the current IT development trend and puts forward the urgent needs and severe challenges faced by storage in the current Internet and cloud age; 2. This paper analyzes the main structure and some implementation details of the existing file system, and pays special attention to its performance optimization strategy for small files. This paper not only analyzes the Linux kernel supporting local file systems such as Ext2OU Ext3XfsU Reiserfs, but also involves the storage schemes designed by the world famous Internet enterprises and open source project teams according to their business characteristics, such as Facebook Haystack, Taobao TFS and so on. 3. The server file system Sfs. designed for small file application environment is described in detail. In the aspect of disk layout, SFS abandons the traditional method of dividing the disk block according to the fixed size of the file system, and adopts the strategy of partition the volume and the dynamic block in the volume, so as to meet the storage requirements of the files of various sizes in the application environment. The simplified metadata can reduce the number of I / O interactions and cache as much file metadata as possible in memory. In the file system interface design, SFS provides simple but efficient API, which is conducive to file system processing efficiency. At the same time, it designs a small object memory pool for SFS to further optimize the file system processing efficiency; 4. A file system testing tool was designed to test the I / O throughput and IOPSs of file systems respectively to verify the effectiveness of SFS in small file application environments. The test results show that SFS has better I / O throughput performance and higher IOPS when processing small files through more reasonable design and simplified implementation.
【學位授予單位】：上海交通大學
【學位級別】：碩士
【學位授予年份】：2013
【分類號】：TP333

【共引文獻】

相關期刊論文 前10條

1 盛志偉;劉仕筠;彭城;;一種非線性搜索的Unix目錄結構與搜索算法[J];成都信息工程學院學報;2006年01期

2 戴銀飛,趙耀紅;可變分區(qū)存儲管理方式的模擬[J];長春大學學報;2005年04期

3 彭壽全,宋杰,嚴海錦;UNIX設備驅動程序的剖析與實例[J];電子科技大學學報;1998年01期

4 王忠,遲忠先,崔樹禮;OPENWIN客戶程序界面的動態(tài)翻譯[J];大連理工大學學報;1996年06期

5 段麗艷,劉波;NIXSVR4.0高精度時鐘的設計與實現(xiàn)[J];廣東教育學院學報;2001年02期

6 劉波，宋萬壽;操作系統(tǒng)UNIXSVR4．0周期進程的設計與實現(xiàn)[J];華南師范大學學報(自然科學版);1995年03期

7 張利霞;多線程的實現(xiàn)方法[J];河南師范大學學報(自然科學版);2001年02期

8 胡貫榮,謝美意,龐麗萍,李勝利;分布式實時消息通信的設計與實現(xiàn)[J];華中理工大學學報;1999年10期

9 江國星,黃桂金,胡曹元,楊勇;基于 DLL 的 Windows 任務通信的消息隊列[J];華中理工大學學報;1997年09期

10 胡貫榮,李勝利;一種局域網(wǎng)分布式文件系統(tǒng)的設計與實現(xiàn)[J];華中理工大學學報;1999年07期

相關博士學位論文 前2條

1 孟江濤;Xen虛擬機研究[D];電子科技大學;2010年

2 馬曉龍;基于構件的支持群體工作環(huán)境中若干問題研究[D];中國科學院研究生院（計算技術研究所）;2000年

相關碩士學位論文 前10條

1 戰(zhàn)科宇;分布式文件系統(tǒng)元數(shù)據(jù)服務器高可用設計與實現(xiàn)[D];上海交通大學;2012年

2 王鈴惠;Squid小文件緩存優(yōu)化的設計與實現(xiàn)[D];上海交通大學;2012年

3 范明惠;視頻點播分布式操作系統(tǒng)中任務調度的設計與實現(xiàn)[D];電子科技大學;2001年

4 程紅蓉;一種實時嵌入式操作系統(tǒng)內核DeltaCORE的設計與實現(xiàn)[D];電子科技大學;2001年

5 張宏海;嵌入式實時操作系統(tǒng)ZERTLinux的設計及實現(xiàn)[D];西南交通大學;2003年

6 于東輝;網(wǎng)絡緩存服務器專用文件系統(tǒng)的設計及實現(xiàn)[D];電子科技大學;2003年

7 張智超;高可信賴嵌入式操作系統(tǒng)內核的研究與實現(xiàn)[D];電子科技大學;2004年

8 周光祥;基于MPEG-4的數(shù)字視頻監(jiān)控系統(tǒng)壓縮解壓子系統(tǒng)的設計與實現(xiàn)[D];華中科技大學;2004年

9 劉淑英;基于RTLinux的分布式實時進程通信技術的研究與實現(xiàn)[D];華中科技大學;2004年

10 易紅軍;UNIX環(huán)境下銀稅聯(lián)網(wǎng)系統(tǒng)解決方案的研究與實現(xiàn)[D];武漢理工大學;2006年

本文編號：2118290