發(fā)布時(shí)間：2018-07-12 19:52

  本文選題：Linux + 文件系統(tǒng)�。� 參考：《上海交通大學(xué)》2013年碩士論文

【摘要】：長(zhǎng)期以來，計(jì)算機(jī)其他部件如CPU，內(nèi)存等性能快速提升，而磁盤由于其固有的機(jī)械運(yùn)動(dòng)的限制，性能已難以提高，成為制約系統(tǒng)性能的瓶頸。而在一些特定的應(yīng)用場(chǎng)景如web應(yīng)用環(huán)境中，保存在web服務(wù)器上的文件數(shù)量特別多（千萬(wàn)至億），單個(gè)文件比較小（KB級(jí)別），現(xiàn)有的文件系統(tǒng)在這類應(yīng)用中也存在著明顯不足。如何更高效地組織管理web服務(wù)器上的小文件，提升小文件的I/O性能一直是學(xué)術(shù)界和產(chǎn)業(yè)界研究的熱點(diǎn)。 本文針對(duì)現(xiàn)有文件系統(tǒng)對(duì)小文件存儲(chǔ)優(yōu)化作了較為深入的分析和研究，設(shè)計(jì)并實(shí)現(xiàn)了適應(yīng)小文件應(yīng)用環(huán)境的文件系統(tǒng)Sfs。論文的主要工作如下： 1.對(duì)當(dāng)前IT發(fā)展趨勢(shì)作了概要性的分析，提出了在當(dāng)前互聯(lián)網(wǎng)和云時(shí)代存儲(chǔ)面臨的迫切需求和嚴(yán)峻挑戰(zhàn)； 2.分析研究現(xiàn)有文件系統(tǒng)的主要結(jié)構(gòu)和部分實(shí)現(xiàn)細(xì)節(jié)，尤為關(guān)注其針對(duì)小文件的性能優(yōu)化策略。論文中不僅分析了Linux內(nèi)核支持的如Ext2、Ext3、Xfs、Reiserfs等本地文件系統(tǒng)，同時(shí)更涉及了當(dāng)今世界著名互聯(lián)網(wǎng)企業(yè)和開源項(xiàng)目組針對(duì)其業(yè)務(wù)特點(diǎn)而設(shè)計(jì)的存儲(chǔ)方案，如Facebook的Haystack，淘寶的Tfs等； 3.詳細(xì)描述了針對(duì)小文件應(yīng)用環(huán)境設(shè)計(jì)的服務(wù)器文件系統(tǒng)Sfs。在磁盤布局方面，Sfs摒棄了傳統(tǒng)文件系統(tǒng)按固定大小劃分磁盤塊的做法，采用磁盤劃分卷，卷中動(dòng)態(tài)分塊的策略，以適應(yīng)應(yīng)用環(huán)境中各種大小文件的存儲(chǔ)需求；盡量簡(jiǎn)化文件元數(shù)據(jù)，簡(jiǎn)化后的元數(shù)據(jù)減少了文件讀寫時(shí)的I/O交互次數(shù)，也可以在內(nèi)存中緩存盡量多的文件元數(shù)據(jù)；在文件系統(tǒng)接口設(shè)計(jì)上，Sfs提供簡(jiǎn)單但高效的API，利于文件系統(tǒng)的處理效率，同時(shí)為Sfs設(shè)計(jì)了小對(duì)象內(nèi)存池，進(jìn)一步優(yōu)化文件系統(tǒng)處理效率； 4.自行設(shè)計(jì)文件系統(tǒng)測(cè)試工具，分別測(cè)試文件系統(tǒng)I/O吞吐率和IOPS，以驗(yàn)證在小文件應(yīng)用環(huán)境中Sfs的有效性。 測(cè)試結(jié)果表明，通過更合理的設(shè)計(jì)和簡(jiǎn)化的實(shí)現(xiàn)，，Sfs在處理小文件時(shí)有著更好的I/O吞吐性能和更高的IOPS。
[Abstract]:For a long time, the performance of other computer components, such as CPU, memory and so on, has been rapidly improved. However, due to the limitation of its inherent mechanical movement, the performance of disk has been difficult to improve, which has become the bottleneck restricting the performance of the system. However, in some specific application scenarios such as web application environment, the number of files stored on web server is especially large (tens of millions to billions), the single file is relatively small (KB level), and the existing file system also has obvious shortcomings in this kind of application. How to organize and manage small files on web server more efficiently and improve the I / O performance of small files has always been a hot topic in academia and industry. This paper analyzes and studies the optimization of small file storage for existing file systems, and designs and implements a file system Sfswhich is suitable for the application environment of small files. The main work of this paper is as follows: 1. This paper gives a brief analysis of the current IT development trend and puts forward the urgent needs and severe challenges faced by storage in the current Internet and cloud age; 2. This paper analyzes the main structure and some implementation details of the existing file system, and pays special attention to its performance optimization strategy for small files. This paper not only analyzes the Linux kernel supporting local file systems such as Ext2OU Ext3XfsU Reiserfs, but also involves the storage schemes designed by the world famous Internet enterprises and open source project teams according to their business characteristics, such as Facebook Haystack, Taobao TFS and so on. 3. The server file system Sfs. designed for small file application environment is described in detail. In the aspect of disk layout, SFS abandons the traditional method of dividing the disk block according to the fixed size of the file system, and adopts the strategy of partition the volume and the dynamic block in the volume, so as to meet the storage requirements of the files of various sizes in the application environment. The simplified metadata can reduce the number of I / O interactions and cache as much file metadata as possible in memory. In the file system interface design, SFS provides simple but efficient API, which is conducive to file system processing efficiency. At the same time, it designs a small object memory pool for SFS to further optimize the file system processing efficiency; 4. A file system testing tool was designed to test the I / O throughput and IOPSs of file systems respectively to verify the effectiveness of SFS in small file application environments. The test results show that SFS has better I / O throughput performance and higher IOPS when processing small files through more reasonable design and simplified implementation.
【學(xué)位授予單位】：上海交通大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2013
【分類號(hào)】：TP333

【共引文獻(xiàn)】

相關(guān)期刊論文 前10條

1 盛志偉;劉仕筠;彭城;;一種非線性搜索的Unix目錄結(jié)構(gòu)與搜索算法[J];成都信息工程學(xué)院學(xué)報(bào);2006年01期

2 戴銀飛,趙耀紅;可變分區(qū)存儲(chǔ)管理方式的模擬[J];長(zhǎng)春大學(xué)學(xué)報(bào);2005年04期

3 彭壽全,宋杰,嚴(yán)海錦;UNIX設(shè)備驅(qū)動(dòng)程序的剖析與實(shí)例[J];電子科技大學(xué)學(xué)報(bào);1998年01期

4 王忠,遲忠先,崔樹禮;OPENWIN客戶程序界面的動(dòng)態(tài)翻譯[J];大連理工大學(xué)學(xué)報(bào);1996年06期

5 段麗艷,劉波;NIXSVR4.0高精度時(shí)鐘的設(shè)計(jì)與實(shí)現(xiàn)[J];廣東教育學(xué)院學(xué)報(bào);2001年02期

6 劉波，宋萬(wàn)壽;操作系統(tǒng)UNIXSVR4．0周期進(jìn)程的設(shè)計(jì)與實(shí)現(xiàn)[J];華南師范大學(xué)學(xué)報(bào)(自然科學(xué)版);1995年03期

7 張利霞;多線程的實(shí)現(xiàn)方法[J];河南師范大學(xué)學(xué)報(bào)(自然科學(xué)版);2001年02期

8 胡貫榮,謝美意,龐麗萍,李勝利;分布式實(shí)時(shí)消息通信的設(shè)計(jì)與實(shí)現(xiàn)[J];華中理工大學(xué)學(xué)報(bào);1999年10期

9 江國(guó)星,黃桂金,胡曹元,楊勇;基于 DLL 的 Windows 任務(wù)通信的消息隊(duì)列[J];華中理工大學(xué)學(xué)報(bào);1997年09期

10 胡貫榮,李勝利;一種局域網(wǎng)分布式文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J];華中理工大學(xué)學(xué)報(bào);1999年07期

相關(guān)博士學(xué)位論文 前2條

1 孟江濤;Xen虛擬機(jī)研究[D];電子科技大學(xué);2010年

2 馬曉龍;基于構(gòu)件的支持群體工作環(huán)境中若干問題研究[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2000年

相關(guān)碩士學(xué)位論文 前10條

1 戰(zhàn)科宇;分布式文件系統(tǒng)元數(shù)據(jù)服務(wù)器高可用設(shè)計(jì)與實(shí)現(xiàn)[D];上海交通大學(xué);2012年

2 王鈴惠;Squid小文件緩存優(yōu)化的設(shè)計(jì)與實(shí)現(xiàn)[D];上海交通大學(xué);2012年

3 范明惠;視頻點(diǎn)播分布式操作系統(tǒng)中任務(wù)調(diào)度的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2001年

4 程紅蓉;一種實(shí)時(shí)嵌入式操作系統(tǒng)內(nèi)核DeltaCORE的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2001年

5 張宏海;嵌入式實(shí)時(shí)操作系統(tǒng)ZERTLinux的設(shè)計(jì)及實(shí)現(xiàn)[D];西南交通大學(xué);2003年

6 于東輝;網(wǎng)絡(luò)緩存服務(wù)器專用文件系統(tǒng)的設(shè)計(jì)及實(shí)現(xiàn)[D];電子科技大學(xué);2003年

7 張智超;高可信賴嵌入式操作系統(tǒng)內(nèi)核的研究與實(shí)現(xiàn)[D];電子科技大學(xué);2004年

8 周光祥;基于MPEG-4的數(shù)字視頻監(jiān)控系統(tǒng)壓縮解壓子系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];華中科技大學(xué);2004年

9 劉淑英;基于RTLinux的分布式實(shí)時(shí)進(jìn)程通信技術(shù)的研究與實(shí)現(xiàn)[D];華中科技大學(xué);2004年

10 易紅軍;UNIX環(huán)境下銀稅聯(lián)網(wǎng)系統(tǒng)解決方案的研究與實(shí)現(xiàn)[D];武漢理工大學(xué);2006年

本文編號(hào)：2118290