本文選題：分布式文件系統(tǒng) + FastDFS　； 參考：《東北大學(xué)》2013年碩士論文

【摘要】：隨著互聯(lián)網(wǎng)的迅猛發(fā)展,信息呈現(xiàn)出爆炸式的增長(zhǎng),傳統(tǒng)的文件存儲(chǔ)方式已經(jīng)不能滿足系統(tǒng)對(duì)于存儲(chǔ)空間和處理時(shí)間的要求。高性能的分布式文件系統(tǒng)成為相關(guān)領(lǐng)域的研究熱點(diǎn)。 FastDFS是一個(gè)開(kāi)源的分布式文件系統(tǒng),FastDFS的文件命名方式和分組方式等機(jī)制使得它具有輕量級(jí)、高擴(kuò)展性等優(yōu)點(diǎn)。在國(guó)內(nèi)外學(xué)者已有研究工作的基礎(chǔ)上,基于開(kāi)源分布式文件系統(tǒng)FastDFS,本文針對(duì)如今互聯(lián)網(wǎng)應(yīng)用的特點(diǎn),為要求高實(shí)時(shí)性的互聯(lián)網(wǎng)應(yīng)用量身定制了一款分布式文件系統(tǒng),相比于FastDFS更適合大量文件的存儲(chǔ),特別是短時(shí)間內(nèi)需要響應(yīng)大量請(qǐng)求的應(yīng)用。本文主要對(duì)FastDFS在以下方面進(jìn)行了改進(jìn)：一是同組storage server間同步機(jī)制的優(yōu)化,由原來(lái)的根據(jù)binlog定時(shí)同步更新優(yōu)化為上傳文件的同時(shí)進(jìn)行文件的同步；二是加入緩存層,因?yàn)閷?duì)于互聯(lián)網(wǎng)應(yīng)用,本次訪問(wèn)的圖片、視頻等資源很有可能在短時(shí)間內(nèi)繼續(xù)被訪問(wèn)。三是對(duì)大文件進(jìn)行分片存儲(chǔ),分片存儲(chǔ)方式不僅使系統(tǒng)可以存儲(chǔ)更大的文件,而且如果在某臺(tái)機(jī)器宕機(jī)或者新增加存儲(chǔ)服務(wù)器的情況下,只需要同組其他機(jī)器同步過(guò)來(lái)一個(gè)文件塊的情況下,本機(jī)就可對(duì)外提供該文件的下載服務(wù),相比于同步整個(gè)文件可以更快的對(duì)外提供服務(wù),提高系統(tǒng)的可用性和吞吐量。 基于VMware虛擬機(jī)和Ubuntu11.04操作系統(tǒng),對(duì)本文提出的方案進(jìn)行了實(shí)驗(yàn)測(cè)試,與現(xiàn)在FastDFS的最新版本V4.06相比,本文設(shè)計(jì)的一系列機(jī)制能夠更快的響應(yīng)客戶端的請(qǐng)求,具有更高的實(shí)時(shí)性,更好的滿足了如今互聯(lián)網(wǎng)應(yīng)用對(duì)文件操作的需求。
[Abstract]:With the rapid development of the Internet and the explosive growth of information, the traditional file storage method can not meet the requirements of the system for storage space and processing time. FastDFS is an open source distributed file system. FastDFS has the advantages of lightweight and high scalability due to its mechanism of naming and grouping FastDFS. Based on the research work of scholars at home and abroad, and based on open source distributed file system FastDFS, according to the characteristics of Internet application today, this paper customizes a distributed file system for high real-time Internet application. Compared with FastDFS, it is more suitable for storing a large number of files, especially for applications that need to respond to a large number of requests in a short time. This paper mainly improves FastDFS in the following aspects: the first is the optimization of synchronization mechanism between the same group of storage server, which is optimized from the original synchronization update according to binlog timing to the synchronization of files uploaded at the same time, the second is the addition of cache layer. For Internet applications, this visit of images, video and other resources are likely to be accessed in a short time. The third is to divide large files into pieces, which not only allow the system to store larger files, but also if a machine is down or a new storage server is added. If only the same group of other machines synchronize a file block, the local machine can provide the download service of the file. Compared with synchronizing the whole file, it can provide the service faster and improve the availability and throughput of the system. Based on VMware virtual machine and Ubuntu 11.04 operating system, the proposed scheme is tested experimentally. Compared with the latest version of FastDFS, V4.06, a series of mechanisms designed in this paper can respond to client requests more quickly and have higher real-time performance. Better meet the needs of Internet applications for file operations today.
【學(xué)位授予單位】：東北大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2013
【分類號(hào)】：TP316.4;TP333

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 余慶;;分布式文件系統(tǒng)FastDFS架構(gòu)剖析[J];程序員;2010年11期

2 楊德志,黃華,張建剛,許魯;大容量、高性能、高擴(kuò)展能力的藍(lán)鯨分布式文件系統(tǒng)[J];計(jì)算機(jī)研究與發(fā)展;2005年06期

3 閆鶴;李小勇;胡鵬;劉海濤;;分布式文件系統(tǒng)的流式數(shù)據(jù)預(yù)讀[J];計(jì)算機(jī)研究與發(fā)展;2012年S1期

4 王雪濤;劉偉杰;;分布式文件系統(tǒng)[J];科技信息(學(xué)術(shù)研究);2006年11期

5 張媛;于冠龍;盧澤新;劉亞萍;;并行網(wǎng)絡(luò)文件系統(tǒng)PNFS性能評(píng)測(cè)與分析[J];計(jì)算機(jī)工程與應(yīng)用;2009年35期

6 袁玉;崔超遠(yuǎn);烏云;陳祝紅;;單機(jī)下Hadoop小文件處理性能分析[J];計(jì)算機(jī)工程與應(yīng)用;2013年03期

7 張鈺森;吳慶波;譚郁松;;基于Lustre的大規(guī)模文件系統(tǒng)擁塞控制算法的研究[J];計(jì)算機(jī)研究與發(fā)展;2011年S1期

8 祖研;帥仁俊;陳平;;基于分布式文件系統(tǒng)的圖片存儲(chǔ)服務(wù)的研究[J];通信技術(shù);2011年04期

9 王和平;陳慧;劉茜;;巧用FreeNAS搭建網(wǎng)絡(luò)存儲(chǔ)及備份系統(tǒng)[J];企業(yè)技術(shù)開(kāi)發(fā);2012年29期

10 劉琨;李愛(ài)菊;董龍江;;基于Hadoop的云存儲(chǔ)的研究及實(shí)現(xiàn)[J];微計(jì)算機(jī)信息;2011年07期

相關(guān)博士學(xué)位論文 前1條

1 錢迎進(jìn);大規(guī)模Lustre集群文件系統(tǒng)關(guān)鍵技術(shù)的研究[D];國(guó)防科學(xué)技術(shù)大學(xué);2011年

，

本文編號(hào)：2030391