本文選題：海量小文件 + 分布式文件系統(tǒng)　； 參考：《昆明理工大學(xué)》2017年碩士論文

【摘要】：現(xiàn)階段,隨著企業(yè)業(yè)務(wù)增長(zhǎng),數(shù)據(jù)存儲(chǔ)量高速增長(zhǎng),企業(yè)對(duì)于數(shù)據(jù)存儲(chǔ)的可擴(kuò)展性不斷提出了的要求。在新存儲(chǔ)需求下,傳統(tǒng)的數(shù)據(jù)存儲(chǔ)方式已經(jīng)無法滿足新一代的技術(shù)要求,擴(kuò)展性強(qiáng)、價(jià)格低廉的分布式存儲(chǔ)系統(tǒng)則逐漸成為眾多企業(yè)的選擇。當(dāng)前市面上主要的分布式存儲(chǔ)產(chǎn)品,要么為大型對(duì)象存儲(chǔ)設(shè)計(jì),要么是基于互聯(lián)網(wǎng)的產(chǎn)品,并不適用于沒有CDN(Content Delivery Network)的企業(yè)內(nèi)部環(huán)境中。本文在weedfs的基礎(chǔ)上,以分布式存儲(chǔ)技術(shù)為核心,基于企業(yè)對(duì)小文件存儲(chǔ)需求的現(xiàn)狀,對(duì)無CDN環(huán)境下的小文件分布存儲(chǔ)應(yīng)用進(jìn)行了初步探索,具體開展了以下研究:第一,回顧存儲(chǔ)系統(tǒng)的發(fā)展歷程,分析當(dāng)前各個(gè)分布存儲(chǔ)技術(shù)的特點(diǎn)。第二,為weedfs添加了一個(gè)分布式緩存系統(tǒng),并針對(duì)傳統(tǒng)緩存算法的缺點(diǎn),改進(jìn)了緩存算法對(duì)各種場(chǎng)景的適應(yīng)能力。第三,結(jié)合傳統(tǒng)的緩存算法和機(jī)器學(xué)習(xí)技術(shù),進(jìn)一步提高整個(gè)緩存系統(tǒng)的性能。本文通過引入一個(gè)緩存系統(tǒng)對(duì)weedfs進(jìn)行了改進(jìn),同時(shí)將機(jī)器學(xué)習(xí)和傳統(tǒng)的緩存技術(shù)相結(jié)合,為企業(yè)內(nèi)部處理海量小文件提供了一個(gè)新的選擇。本研究對(duì)其他行業(yè)存儲(chǔ)系統(tǒng)的選擇和緩存算法的改進(jìn)也具有一定的借鑒意義。
[Abstract]:At present, with the growth of enterprise business and the rapid growth of data storage capacity, the scalability of data storage is constantly required by enterprises. Under the new storage demand, the traditional data storage method can not meet the new generation of technical requirements. The distributed storage system with strong expansibility and low price has gradually become the choice of many enterprises. At present, the main distributed storage products in the market are either designed for large-scale object storage or Internet-based products, and are not suitable for the internal environment of enterprises without CDN (content delivery Network). On the basis of weedfs, based on the distributed storage technology and the current situation of enterprises' demand for small file storage, this paper makes a preliminary exploration on the application of distributed small file storage in the non-CDN-based environment. The following researches are carried out: first, This paper reviews the development of storage system and analyzes the characteristics of each distributed storage technology. Secondly, we add a distributed cache system to weedfs, and improve the adaptability of the cache algorithm to various scenarios in view of the shortcomings of the traditional cache algorithm. Thirdly, the performance of the whole cache system is further improved by combining the traditional cache algorithm and machine learning technology. This paper improves weedfs by introducing a cache system, and combines machine learning with traditional cache technology, which provides a new choice for internal processing of large amount of small files. This research also has certain reference significance to other industries storage system choice and the cache algorithm improvement.
【學(xué)位授予單位】：昆明理工大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2017
【分類號(hào)】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王雪濤;劉偉杰;;分布式文件系統(tǒng)[J];科技信息(學(xué)術(shù)研究);2006年11期

2 陳劍;龔發(fā)根;;一種優(yōu)化分布式文件系統(tǒng)的文件合并策略[J];計(jì)算機(jī)應(yīng)用;2011年S2期

3 郎為民;楊德鵬;;云計(jì)算中的分布式文件系統(tǒng)[J];電信快報(bào);2012年02期

4 陳文捷;蔡立志;樓志斌;王潔萍;李海波;;應(yīng)用級(jí)分布式文件系統(tǒng)接口標(biāo)準(zhǔn)化探索[J];信息技術(shù)與標(biāo)準(zhǔn)化;2012年10期

5 應(yīng)朝暉，高洪奎，，黃若衡;分布式文件系統(tǒng)[J];計(jì)算機(jī)工程與科學(xué);1995年03期

6 盧軍;盧顯良;韓宏;許騰;;基于移動(dòng)Agent的新型分布式文件系統(tǒng)研究[J];計(jì)算機(jī)科學(xué);2002年10期

7 寒江約叟;N個(gè)資源一次看——分布式文件系統(tǒng)妙用[J];電腦應(yīng)用文萃;2004年07期

8 黃華,張建剛,許魯;藍(lán)鯨分布式文件系統(tǒng)的分布式分層資源管理模型[J];計(jì)算機(jī)研究與發(fā)展;2005年06期

9 黃華;張建剛;許魯;;藍(lán)鯨分布式文件系統(tǒng)的客戶端元數(shù)據(jù)緩存模型[J];計(jì)算機(jī)科學(xué);2005年09期

10 黃華;張敬亮;張建剛;許魯;;藍(lán)鯨分布式文件系統(tǒng)的物理資源管理模型[J];計(jì)算機(jī)工程;2006年06期

相關(guān)會(huì)議論文 前4條

1 華清;黃林鵬;;基于分片、松耦合的分布式文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];2006年全國(guó)開放式分布與并行計(jì)算學(xué)術(shù)會(huì)議論文集（二）[C];2006年

2 洪穗;;微軟WINDOWS Server 2003 R2分布式文件系統(tǒng)解決方案分析[A];中國(guó)新聞技術(shù)工作者聯(lián)合會(huì)2008年學(xué)術(shù)年會(huì)論文集（上）[C];2008年

3 羅志明;張大華;王電鋼;常健;;電力分布式云存儲(chǔ)關(guān)鍵技術(shù)研究[A];2012年電力通信管理暨智能電網(wǎng)通信技術(shù)論壇論文集[C];2013年

4 徐文斌;;大數(shù)據(jù)時(shí)代的交管綜合應(yīng)用云平臺(tái)[A];第八屆中國(guó)智能交通年會(huì)論文集[C];2013年

相關(guān)重要報(bào)紙文章 前10條

1 國(guó)家高性能計(jì)算機(jī)工程技術(shù)研究中心 黃華 楊德志 張建剛;分布式文件系統(tǒng)的歷史與現(xiàn)狀[N];中國(guó)計(jì)算機(jī)報(bào);2005年

2 國(guó)家高性能計(jì)算機(jī)工程技術(shù)研究中心 黃華 楊德志 張建剛;分布式文件系統(tǒng)趨向成熟[N];中國(guó)計(jì)算機(jī)報(bào);2005年

3 國(guó)防科學(xué)技術(shù)大學(xué)計(jì)算機(jī)學(xué)院軟件所 董勇 周恩強(qiáng);構(gòu)建分布式文件系統(tǒng)[N];中國(guó)計(jì)算機(jī)報(bào);2005年

4 ;分布式文件系統(tǒng)一瞥[N];網(wǎng)絡(luò)世界;2002年

5 王春海 劉立;分布式文件系統(tǒng)在網(wǎng)絡(luò)中的應(yīng)用[N];電腦報(bào);2004年

6 ;Hadoop：為構(gòu)建海量數(shù)據(jù)架構(gòu)而生[N];人民郵電;2012年

7 本報(bào)記者 于翔;“大數(shù)據(jù)”的大承諾[N];網(wǎng)絡(luò)世界;2010年

8 IBM大數(shù)據(jù)專家 James Kobielus　范范 編譯;YARN動(dòng)搖了MapReduce對(duì)Hadoop的掌控[N];網(wǎng)絡(luò)世界;2013年

9 張力平;云計(jì)算和物聯(lián)網(wǎng)的美妙融合[N];學(xué)習(xí)時(shí)報(bào);2014年

10 《網(wǎng)絡(luò)世界》記者 于翔;大數(shù)據(jù)治理多管齊下[N];網(wǎng)絡(luò)世界;2012年

相關(guān)博士學(xué)位論文 前4條

1 趙鐵柱;分布式文件系統(tǒng)性能建模及應(yīng)用研究[D];華南理工大學(xué);2011年

2 史小冬;分布式文件系統(tǒng)高可用問題研究[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2002年

3 黃華;藍(lán)鯨分布式文件系統(tǒng)的資源管理[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2005年

4 楊德志;分布式文件系統(tǒng)可擴(kuò)展元數(shù)據(jù)服務(wù)關(guān)鍵問題研究[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2008年

相關(guān)碩士學(xué)位論文 前10條

1 冷志強(qiáng);基于分布式文件系統(tǒng)GlusterFS的橫向擴(kuò)展云存儲(chǔ)的研究與實(shí)現(xiàn)[D];復(fù)旦大學(xué);2014年

2 黎斌;基于HDFS的分布式文件系統(tǒng)存儲(chǔ)研究與優(yōu)化[D];電子科技大學(xué);2015年

3 何雄;大小文件跨網(wǎng)絡(luò)集群快速遷移協(xié)議[D];電子科技大學(xué);2015年

4 焦晨宇;可伸縮分布式文件系統(tǒng)及其應(yīng)用[D];北京理工大學(xué);2015年

5 譙林飛;云計(jì)算環(huán)境中分布式文件系統(tǒng)數(shù)據(jù)一致性問題研究[D];電子科技大學(xué);2014年

6 秦小寒;優(yōu)化性能的分布式存儲(chǔ)子系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2014年

7 牛升;分布式文件系統(tǒng)的負(fù)載均衡策略研究[D];電子科技大學(xué);2014年

8 郭建國(guó);基于分布式文件系統(tǒng)FastDFS的圖片服務(wù)器件設(shè)計(jì)與應(yīng)用[D];中國(guó)科學(xué)院大學(xué)(工程管理與信息技術(shù)學(xué)院);2015年

9 白鋮;一種分布式文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D];電子科技大學(xué);2015年

10 吳霖;分布式微信公眾平臺(tái)爬蟲系統(tǒng)的研究與應(yīng)用[D];南華大學(xué);2015年

本文編號(hào)：2109686