【摘要】：隨著時(shí)代的發(fā)展,數(shù)據(jù)的信息量出現(xiàn)了爆炸式的增長,單純的分布式文件系統(tǒng)已經(jīng)很難滿足海量數(shù)據(jù)的處理請(qǐng)求。目前,針對(duì)文件系統(tǒng)所面臨的海量小文件大并發(fā)請(qǐng)求問題,許多學(xué)者都對(duì)其展開了研究,但是已有的研究成果依然存在一些不足之處。因此本論文主要研究如何進(jìn)一步提高FastDFS的文件處理能力,以便更好的解決海量小文件存儲(chǔ)所面臨的大并發(fā)問題。本論文的主要工作如下:(1)簡(jiǎn)單概述本課題的研究背景及意義,同時(shí)對(duì)分布式文件系統(tǒng)、非關(guān)系型數(shù)據(jù)庫、服務(wù)器集群等的國內(nèi)外研究現(xiàn)狀進(jìn)行了重點(diǎn)介紹,為接下來本文的相關(guān)技術(shù)理論知識(shí)研究做了很好的鋪墊。(2)首先分別對(duì)FastDFS、Redis數(shù)據(jù)庫、Nginx集群進(jìn)行了深入的研究與分析,總結(jié)出它們各自的優(yōu)勢(shì)與不足;其次針對(duì)它們?cè)趹?yīng)對(duì)大并發(fā)問題所表現(xiàn)出的不足,提出將FastDFS、Redis數(shù)據(jù)庫以及Nginx服務(wù)器集群同時(shí)應(yīng)用于實(shí)際研發(fā)項(xiàng)目中,在綜合它們優(yōu)點(diǎn)的同時(shí)彌補(bǔ)各自的不足之處,從而更好的應(yīng)對(duì)大并發(fā)問題;最后通過模擬實(shí)驗(yàn)及實(shí)驗(yàn)數(shù)據(jù)結(jié)果的分析對(duì)比,驗(yàn)證了本文提出的組合架構(gòu)FastDFS+Redis+Nginx集群與原有的FastDFS+Redis架構(gòu)相比,在處理海量用戶的大并發(fā)請(qǐng)求時(shí),無論是文件上傳還是文件下載所需要的處理時(shí)間都會(huì)明顯減少。(3)通過引入Piece機(jī)制,重新利用了FastDFS文件存儲(chǔ)結(jié)構(gòu)中大量的閑置空間,不僅提高了文件的存儲(chǔ)空間利用率,而且優(yōu)化了FastDFS本身的性能。通過模擬實(shí)驗(yàn)及對(duì)相關(guān)實(shí)驗(yàn)數(shù)據(jù)的分析,驗(yàn)證了本文提出的引入Piece機(jī)制的FastDFS分布式文件系統(tǒng)與已有的FastDFS系統(tǒng)相比,在處理大并發(fā)請(qǐng)求時(shí),不僅可以確保系統(tǒng)較高的穩(wěn)定性和較高的文件處理能力,而且極大的提高了文件存儲(chǔ)空間的利用率。
【學(xué)位授予單位】：中北大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP311.13;TP333;TP368.5

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 劉靖;廖家趙;劉瓊;;面向城軌線網(wǎng)的海量小文件存儲(chǔ)方法[J];計(jì)算機(jī)應(yīng)用與軟件;2016年08期

2 羅樂;劉軼;錢德沛;;內(nèi)存計(jì)算技術(shù)研究綜述[J];軟件學(xué)報(bào);2016年08期

3 柳皓亮;王麗;周陽辰;;Redis集群性能測(cè)試分析[J];微型機(jī)與應(yīng)用;2016年10期

4 許東;李靜;;大數(shù)據(jù)管理的偶圖模型[J];小型微型計(jì)算機(jī)系統(tǒng);2016年02期

5 劉唐;彭艦;陳果;郭兵;汪小芬;;基于密度控制的傳感器網(wǎng)絡(luò)能量空洞避免策略[J];計(jì)算機(jī)學(xué)報(bào);2016年05期

6 高明;;基于Linux的負(fù)載平衡算法改進(jìn)探究[J];電子測(cè)試;2015年05期

7 米麗萍;陳旭清;;分布式和緩存技術(shù)在大并發(fā)量網(wǎng)站中的應(yīng)用[J];計(jì)算機(jī)時(shí)代;2014年01期

8 劉高軍;王帝澳;;基于Redis的海量小文件分布式存儲(chǔ)方法研究[J];計(jì)算機(jī)工程與科學(xué);2013年10期

9 張春明;芮建武;何婷婷;;一種Hadoop小文件存儲(chǔ)和讀取的方法[J];計(jì)算機(jī)應(yīng)用與軟件;2012年11期

10 王和平;陳慧;劉茜;;巧用FreeNAS搭建網(wǎng)絡(luò)存儲(chǔ)及備份系統(tǒng)[J];企業(yè)技術(shù)開發(fā);2012年29期

，

本文編號(hào)：2665119