本文選題：小文件存儲(chǔ) + 高并發(fā)訪問��； 參考：《重慶交通大學(xué)》2016年碩士論文

【摘要】：伴隨著互聯(lián)網(wǎng)應(yīng)用的飛速發(fā)展及人們消費(fèi)觀念的不斷轉(zhuǎn)變,互聯(lián)網(wǎng)應(yīng)用已經(jīng)滲透到人們生活的方方面面,這帶給互聯(lián)網(wǎng)企業(yè)的不僅僅是用戶量和利益的暴增,還帶來(lái)了文件高并發(fā)訪問和大量小文件需要存儲(chǔ)等問題,分布式文件系統(tǒng)為解決這些問題提供了很好的平臺(tái)。當(dāng)前主流的分布式文件系統(tǒng)大多采用集中式元數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)并且主要針對(duì)大文件存儲(chǔ)進(jìn)行設(shè)計(jì)。但是目前很多大型網(wǎng)站都需要存儲(chǔ)大量圖片文件,而這些圖片文件大多小于1MB,主流分布式文件系統(tǒng)在存儲(chǔ)小文件時(shí)存儲(chǔ)和檢索效率并不高。并且大型網(wǎng)站的資源文件并發(fā)訪問量很高,集中式結(jié)構(gòu)的中心服務(wù)器已很難支撐高并發(fā)的資源請(qǐng)求。主流分布式文件系統(tǒng)在大型網(wǎng)站應(yīng)用中存在兩方面不足:(1)存儲(chǔ)小文件時(shí)存儲(chǔ)與檢索效率不高;(2)集中式結(jié)構(gòu)很難支撐高并發(fā)訪問。而針對(duì)小文件存儲(chǔ)優(yōu)化的研究主要集中在兩個(gè)方向:對(duì)元數(shù)據(jù)存儲(chǔ)優(yōu)化和對(duì)數(shù)據(jù)文件存儲(chǔ)優(yōu)化。由于高并發(fā)問題與元數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)相關(guān),因此本文主要從元數(shù)據(jù)存儲(chǔ)優(yōu)化方向進(jìn)行研究。針對(duì)以上問題本文的主要研究?jī)?nèi)容如下:(1)提出了將有序哈希表用于存儲(chǔ)子目錄。由于分布式文件系統(tǒng)中子目錄數(shù)動(dòng)輒上萬(wàn),檢索速度較慢,因此文中提出構(gòu)建復(fù)合數(shù)據(jù)結(jié)構(gòu)有序哈希表來(lái)解決該問題。通過實(shí)驗(yàn)證明有序哈希表比動(dòng)態(tài)數(shù)組檢索速度提高99.93%。(2)提出了分布式目錄樹結(jié)構(gòu)。通過分布式目錄樹構(gòu)建的目錄系統(tǒng)能夠?qū)⒛夸浄稚⒋鎯?chǔ)在不同的服務(wù)器中,并且所有數(shù)據(jù)在邏輯上保持樹形結(jié)構(gòu)�？紤]到小文件存儲(chǔ)占用太多元數(shù)據(jù)服務(wù)器內(nèi)存,并且存儲(chǔ)數(shù)量受到元數(shù)據(jù)服務(wù)器的內(nèi)存限制,而通過將元數(shù)據(jù)分布保存到不同服務(wù)器中,則使得元數(shù)據(jù)存儲(chǔ)容量可以通過添加元數(shù)據(jù)服務(wù)器的方式線性增加,以便能夠存儲(chǔ)更多小文件。通過實(shí)驗(yàn)比較分布式目錄樹存儲(chǔ)空間比HDFS多使用了16.4%,而檢索速度比HDFS提升了73.21%。(3)提出了將基于REST風(fēng)格的HTTP協(xié)議作為分布式文件系統(tǒng)的服務(wù)提供方式,使用HTTP協(xié)議后瀏覽器能夠直接與所有服務(wù)器進(jìn)行交互。并且通過實(shí)驗(yàn)證明使用HTTP協(xié)議比RPC協(xié)議能更好地利用瀏覽器端緩存,有效減少文件請(qǐng)求次數(shù)。文中通過對(duì)分布式目錄樹的元數(shù)據(jù)創(chuàng)建多個(gè)副本并保存到不同服務(wù)器中的方式,不僅提高了系統(tǒng)的可靠性也使得瀏覽器通過訪問副本服務(wù)器,減少了對(duì)原數(shù)據(jù)服務(wù)器的請(qǐng)求次數(shù),降低了服務(wù)器的負(fù)載。通過實(shí)驗(yàn)證明使用HTTP協(xié)議后部分命令的請(qǐng)求次數(shù)下降了35.5%。
[Abstract]:With the rapid development of Internet application and the constant change of people's consumption concept, Internet application has penetrated into every aspect of people's life, which brings not only the explosion of users and benefits to Internet enterprises. It also brings problems such as high concurrent access to files and large number of small files to be stored. Distributed file system provides a good platform to solve these problems. Current distributed file systems mostly use centralized metadata storage structure and are mainly designed for large file storage. However, many large web sites need to store a large number of image files, and most of these image files are less than 1MB. the mainstream distributed file system is not efficient in storing and retrieving small files. In addition, the resource files of large websites are visited simultaneously, so it is difficult to support the high concurrent resource request by the centralized central server. The main distributed file system has two disadvantages in the application of large websites: (1) the efficiency of storing and retrieving small files is not high; (2) the centralized structure is difficult to support high concurrent access. The research on the optimization of small file storage is mainly focused on two directions: the optimization of metadata storage and the optimization of data file storage. Because the high concurrency problem is related to the metadata storage structure, this paper mainly studies the optimization direction of metadata storage. The main contents of this paper are as follows: (1) an ordered hash table is proposed to store subdirectories. Because the number of subdirectories in distributed file system is more than ten thousand and the retrieval speed is slow, this paper proposes to construct an ordered hash table with compound data structure to solve this problem. The experimental results show that the ordered hash table is 99.93 faster than the dynamic array search speed. (2) A distributed directory tree structure is proposed. The directory system constructed by the distributed directory tree can distribute the directory into different servers, and all the data can be logically maintained in the tree structure. Considering that small file storage takes up too much metadata server memory, and that the amount of storage is limited by the memory of metadata servers, by distributing metadata to different servers, The metadata storage capacity can be increased linearly by adding metadata servers, so that more small files can be stored. Compared with HDFS, the storage space of distributed directory tree is 16.4 more than that of HDFS, and the retrieval speed is 73.21. (3) the REST-based HTTP protocol is proposed as the service provider of distributed file system. Using the HTTP protocol, the browser can interact directly with all servers. Experiments show that HTTP protocol can make better use of browser cache than RPC protocol, and reduce the number of file requests effectively. This paper not only improves the reliability of the system but also enables the browser to access the replica server by creating multiple copies of the metadata of the distributed directory tree and saving them to different servers. Reduce the number of requests to the original data server and reduce the load on the server. It is proved by experiment that the number of requests for some commands after using HTTP protocol has dropped by 35.5.
【學(xué)位授予單位】：重慶交通大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP333

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 陳劍;龔發(fā)根;;一種優(yōu)化分布式文件系統(tǒng)的文件合并策略[J];計(jì)算機(jī)應(yīng)用;2011年S2期

2 郎為民;楊德鵬;;云計(jì)算中的分布式文件系統(tǒng)[J];電信快報(bào);2012年02期

3 陳文捷;蔡立志;樓志斌;王潔萍;李海波;;應(yīng)用級(jí)分布式文件系統(tǒng)接口標(biāo)準(zhǔn)化探索[J];信息技術(shù)與標(biāo)準(zhǔn)化;2012年10期

4 應(yīng)朝暉，高洪奎，黃若衡;分布式文件系統(tǒng)[J];計(jì)算機(jī)工程與科學(xué);1995年03期

5 盧軍;盧顯良;韓宏;許騰;;基于移動(dòng)Agent的新型分布式文件系統(tǒng)研究[J];計(jì)算機(jī)科學(xué);2002年10期

6 寒江約叟;N個(gè)資源一次看——分布式文件系統(tǒng)妙用[J];電腦應(yīng)用文萃;2004年07期

7 黃華,張建剛,許魯;藍(lán)鯨分布式文件系統(tǒng)的分布式分層資源管理模型[J];計(jì)算機(jī)研究與發(fā)展;2005年06期

8 黃華;張建剛;許魯;;藍(lán)鯨分布式文件系統(tǒng)的客戶端元數(shù)據(jù)緩存模型[J];計(jì)算機(jī)科學(xué);2005年09期

9 黃華;張敬亮;張建剛;許魯;;藍(lán)鯨分布式文件系統(tǒng)的物理資源管理模型[J];計(jì)算機(jī)工程;2006年06期

10 陰四海;王文杰;李秀斌;范軍濤;;并行分布式文件系統(tǒng)的改進(jìn)[J];計(jì)算機(jī)應(yīng)用;2007年S2期

相關(guān)會(huì)議論文 前4條

1 華清;黃林鵬;;基于分片、松耦合的分布式文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[A];2006年全國(guó)開放式分布與并行計(jì)算學(xué)術(shù)會(huì)議論文集（二）[C];2006年

2 洪穗;;微軟WINDOWS Server 2003 R2分布式文件系統(tǒng)解決方案分析[A];中國(guó)新聞技術(shù)工作者聯(lián)合會(huì)2008年學(xué)術(shù)年會(huì)論文集（上）[C];2008年

3 羅志明;張大華;王電鋼;常健;;電力分布式云存儲(chǔ)關(guān)鍵技術(shù)研究[A];2012年電力通信管理暨智能電網(wǎng)通信技術(shù)論壇論文集[C];2013年

4 徐文斌;;大數(shù)據(jù)時(shí)代的交管綜合應(yīng)用云平臺(tái)[A];第八屆中國(guó)智能交通年會(huì)論文集[C];2013年

相關(guān)重要報(bào)紙文章 前10條

1 國(guó)家高性能計(jì)算機(jī)工程技術(shù)研究中心 黃華 楊德志 張建剛;分布式文件系統(tǒng)的歷史與現(xiàn)狀[N];中國(guó)計(jì)算機(jī)報(bào);2005年

2 國(guó)家高性能計(jì)算機(jī)工程技術(shù)研究中心 黃華 楊德志 張建剛;分布式文件系統(tǒng)趨向成熟[N];中國(guó)計(jì)算機(jī)報(bào);2005年

3 國(guó)防科學(xué)技術(shù)大學(xué)計(jì)算機(jī)學(xué)院軟件所 董勇 周恩強(qiáng);構(gòu)建分布式文件系統(tǒng)[N];中國(guó)計(jì)算機(jī)報(bào);2005年

4 ;分布式文件系統(tǒng)一瞥[N];網(wǎng)絡(luò)世界;2002年

5 王春海 劉立;分布式文件系統(tǒng)在網(wǎng)絡(luò)中的應(yīng)用[N];電腦報(bào);2004年

6 ;Hadoop：為構(gòu)建海量數(shù)據(jù)架構(gòu)而生[N];人民郵電;2012年

7 本報(bào)記者 于翔;“大數(shù)據(jù)”的大承諾[N];網(wǎng)絡(luò)世界;2010年

8 IBM大數(shù)據(jù)專家 James Kobielus　范范 編譯;YARN動(dòng)搖了MapReduce對(duì)Hadoop的掌控[N];網(wǎng)絡(luò)世界;2013年

9 張力平;云計(jì)算和物聯(lián)網(wǎng)的美妙融合[N];學(xué)習(xí)時(shí)報(bào);2014年

10 《網(wǎng)絡(luò)世界》記者 于翔;大數(shù)據(jù)治理多管齊下[N];網(wǎng)絡(luò)世界;2012年

相關(guān)博士學(xué)位論文 前4條

1 趙鐵柱;分布式文件系統(tǒng)性能建模及應(yīng)用研究[D];華南理工大學(xué);2011年

2 史小冬;分布式文件系統(tǒng)高可用問題研究[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2002年

3 黃華;藍(lán)鯨分布式文件系統(tǒng)的資源管理[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2005年

4 楊德志;分布式文件系統(tǒng)可擴(kuò)展元數(shù)據(jù)服務(wù)關(guān)鍵問題研究[D];中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所）;2008年

相關(guān)碩士學(xué)位論文 前10條

1 冷志強(qiáng);基于分布式文件系統(tǒng)GlusterFS的橫向擴(kuò)展云存儲(chǔ)的研究與實(shí)現(xiàn)[D];復(fù)旦大學(xué);2014年

2 眭椰敏;阿里云分布式文件系統(tǒng)客戶端的設(shè)計(jì)與實(shí)現(xiàn)[D];南京大學(xué);2014年

3 周克利;分布式文件系統(tǒng)中的若干關(guān)鍵算法研究[D];南京大學(xué);2013年

4 董乾豪;通用可擴(kuò)展的分布式文件系統(tǒng)性能測(cè)試框架研究與實(shí)現(xiàn)[D];南京大學(xué);2016年

5 吳森;分布式文件系統(tǒng)小文件性能優(yōu)化技術(shù)研究[D];華中科技大學(xué);2014年

6 胡夢(mèng)楠;HDFS云存儲(chǔ)系統(tǒng)可用性能的優(yōu)化研究[D];電子科技大學(xué);2016年

7 衣然;基于HDFS的云存儲(chǔ)關(guān)鍵技術(shù)研究[D];廣西大學(xué);2015年

8 曾磊;一個(gè)高可用的分布式文件系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)[D];東南大學(xué);2016年

9 謝駿;海量數(shù)據(jù)存取服務(wù)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];國(guó)防科學(xué)技術(shù)大學(xué);2014年

10 徐彪;面向分布式文件系統(tǒng)的基準(zhǔn)測(cè)試框架研究與設(shè)計(jì)[D];杭州電子科技大學(xué);2016年

，

本文編號(hào)：2075133