發(fā)布時間：2018-06-27 20:05

  本文選題：小文件存儲 + 高并發(fā)訪問　； 參考：《重慶交通大學》2016年碩士論文

【摘要】：伴隨著互聯網應用的飛速發(fā)展及人們消費觀念的不斷轉變,互聯網應用已經滲透到人們生活的方方面面,這帶給互聯網企業(yè)的不僅僅是用戶量和利益的暴增,還帶來了文件高并發(fā)訪問和大量小文件需要存儲等問題,分布式文件系統為解決這些問題提供了很好的平臺。當前主流的分布式文件系統大多采用集中式元數據存儲結構并且主要針對大文件存儲進行設計。但是目前很多大型網站都需要存儲大量圖片文件,而這些圖片文件大多小于1MB,主流分布式文件系統在存儲小文件時存儲和檢索效率并不高。并且大型網站的資源文件并發(fā)訪問量很高,集中式結構的中心服務器已很難支撐高并發(fā)的資源請求。主流分布式文件系統在大型網站應用中存在兩方面不足:(1)存儲小文件時存儲與檢索效率不高;(2)集中式結構很難支撐高并發(fā)訪問。而針對小文件存儲優(yōu)化的研究主要集中在兩個方向:對元數據存儲優(yōu)化和對數據文件存儲優(yōu)化。由于高并發(fā)問題與元數據存儲結構相關,因此本文主要從元數據存儲優(yōu)化方向進行研究。針對以上問題本文的主要研究內容如下:(1)提出了將有序哈希表用于存儲子目錄。由于分布式文件系統中子目錄數動輒上萬,檢索速度較慢,因此文中提出構建復合數據結構有序哈希表來解決該問題。通過實驗證明有序哈希表比動態(tài)數組檢索速度提高99.93%。(2)提出了分布式目錄樹結構。通過分布式目錄樹構建的目錄系統能夠將目錄分散存儲在不同的服務器中,并且所有數據在邏輯上保持樹形結構�？紤]到小文件存儲占用太多元數據服務器內存,并且存儲數量受到元數據服務器的內存限制,而通過將元數據分布保存到不同服務器中,則使得元數據存儲容量可以通過添加元數據服務器的方式線性增加,以便能夠存儲更多小文件。通過實驗比較分布式目錄樹存儲空間比HDFS多使用了16.4%,而檢索速度比HDFS提升了73.21%。(3)提出了將基于REST風格的HTTP協議作為分布式文件系統的服務提供方式,使用HTTP協議后瀏覽器能夠直接與所有服務器進行交互。并且通過實驗證明使用HTTP協議比RPC協議能更好地利用瀏覽器端緩存,有效減少文件請求次數。文中通過對分布式目錄樹的元數據創(chuàng)建多個副本并保存到不同服務器中的方式,不僅提高了系統的可靠性也使得瀏覽器通過訪問副本服務器,減少了對原數據服務器的請求次數,降低了服務器的負載。通過實驗證明使用HTTP協議后部分命令的請求次數下降了35.5%。
[Abstract]:With the rapid development of Internet application and the constant change of people's consumption concept, Internet application has penetrated into every aspect of people's life, which brings not only the explosion of users and benefits to Internet enterprises. It also brings problems such as high concurrent access to files and large number of small files to be stored. Distributed file system provides a good platform to solve these problems. Current distributed file systems mostly use centralized metadata storage structure and are mainly designed for large file storage. However, many large web sites need to store a large number of image files, and most of these image files are less than 1MB. the mainstream distributed file system is not efficient in storing and retrieving small files. In addition, the resource files of large websites are visited simultaneously, so it is difficult to support the high concurrent resource request by the centralized central server. The main distributed file system has two disadvantages in the application of large websites: (1) the efficiency of storing and retrieving small files is not high; (2) the centralized structure is difficult to support high concurrent access. The research on the optimization of small file storage is mainly focused on two directions: the optimization of metadata storage and the optimization of data file storage. Because the high concurrency problem is related to the metadata storage structure, this paper mainly studies the optimization direction of metadata storage. The main contents of this paper are as follows: (1) an ordered hash table is proposed to store subdirectories. Because the number of subdirectories in distributed file system is more than ten thousand and the retrieval speed is slow, this paper proposes to construct an ordered hash table with compound data structure to solve this problem. The experimental results show that the ordered hash table is 99.93 faster than the dynamic array search speed. (2) A distributed directory tree structure is proposed. The directory system constructed by the distributed directory tree can distribute the directory into different servers, and all the data can be logically maintained in the tree structure. Considering that small file storage takes up too much metadata server memory, and that the amount of storage is limited by the memory of metadata servers, by distributing metadata to different servers, The metadata storage capacity can be increased linearly by adding metadata servers, so that more small files can be stored. Compared with HDFS, the storage space of distributed directory tree is 16.4 more than that of HDFS, and the retrieval speed is 73.21. (3) the REST-based HTTP protocol is proposed as the service provider of distributed file system. Using the HTTP protocol, the browser can interact directly with all servers. Experiments show that HTTP protocol can make better use of browser cache than RPC protocol, and reduce the number of file requests effectively. This paper not only improves the reliability of the system but also enables the browser to access the replica server by creating multiple copies of the metadata of the distributed directory tree and saving them to different servers. Reduce the number of requests to the original data server and reduce the load on the server. It is proved by experiment that the number of requests for some commands after using HTTP protocol has dropped by 35.5.
【學位授予單位】：重慶交通大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP333

【相似文獻】

相關期刊論文 前10條

1 陳劍;龔發(fā)根;;一種優(yōu)化分布式文件系統的文件合并策略[J];計算機應用;2011年S2期

2 郎為民;楊德鵬;;云計算中的分布式文件系統[J];電信快報;2012年02期

3 陳文捷;蔡立志;樓志斌;王潔萍;李海波;;應用級分布式文件系統接口標準化探索[J];信息技術與標準化;2012年10期

4 應朝暉，高洪奎，黃若衡;分布式文件系統[J];計算機工程與科學;1995年03期

5 盧軍;盧顯良;韓宏;許騰;;基于移動Agent的新型分布式文件系統研究[J];計算機科學;2002年10期

6 寒江約叟;N個資源一次看——分布式文件系統妙用[J];電腦應用文萃;2004年07期

7 黃華,張建剛,許魯;藍鯨分布式文件系統的分布式分層資源管理模型[J];計算機研究與發(fā)展;2005年06期

8 黃華;張建剛;許魯;;藍鯨分布式文件系統的客戶端元數據緩存模型[J];計算機科學;2005年09期

9 黃華;張敬亮;張建剛;許魯;;藍鯨分布式文件系統的物理資源管理模型[J];計算機工程;2006年06期

10 陰四海;王文杰;李秀斌;范軍濤;;并行分布式文件系統的改進[J];計算機應用;2007年S2期

相關會議論文 前4條

1 華清;黃林鵬;;基于分片、松耦合的分布式文件系統的設計與實現[A];2006年全國開放式分布與并行計算學術會議論文集（二）[C];2006年

2 洪穗;;微軟WINDOWS Server 2003 R2分布式文件系統解決方案分析[A];中國新聞技術工作者聯合會2008年學術年會論文集（上）[C];2008年

3 羅志明;張大華;王電鋼;常健;;電力分布式云存儲關鍵技術研究[A];2012年電力通信管理暨智能電網通信技術論壇論文集[C];2013年

4 徐文斌;;大數據時代的交管綜合應用云平臺[A];第八屆中國智能交通年會論文集[C];2013年

相關重要報紙文章 前10條

1 國家高性能計算機工程技術研究中心 黃華 楊德志 張建剛;分布式文件系統的歷史與現狀[N];中國計算機報;2005年

2 國家高性能計算機工程技術研究中心 黃華 楊德志 張建剛;分布式文件系統趨向成熟[N];中國計算機報;2005年

3 國防科學技術大學計算機學院軟件所 董勇 周恩強;構建分布式文件系統[N];中國計算機報;2005年

4 ;分布式文件系統一瞥[N];網絡世界;2002年

5 王春海 劉立;分布式文件系統在網絡中的應用[N];電腦報;2004年

6 ;Hadoop：為構建海量數據架構而生[N];人民郵電;2012年

7 本報記者 于翔;“大數據”的大承諾[N];網絡世界;2010年

8 IBM大數據專家 James Kobielus　范范 編譯;YARN動搖了MapReduce對Hadoop的掌控[N];網絡世界;2013年

9 張力平;云計算和物聯網的美妙融合[N];學習時報;2014年

10 《網絡世界》記者 于翔;大數據治理多管齊下[N];網絡世界;2012年

相關博士學位論文 前4條

1 趙鐵柱;分布式文件系統性能建模及應用研究[D];華南理工大學;2011年

2 史小冬;分布式文件系統高可用問題研究[D];中國科學院研究生院（計算技術研究所）;2002年

3 黃華;藍鯨分布式文件系統的資源管理[D];中國科學院研究生院（計算技術研究所）;2005年

4 楊德志;分布式文件系統可擴展元數據服務關鍵問題研究[D];中國科學院研究生院（計算技術研究所）;2008年

相關碩士學位論文 前10條

1 冷志強;基于分布式文件系統GlusterFS的橫向擴展云存儲的研究與實現[D];復旦大學;2014年

2 眭椰敏;阿里云分布式文件系統客戶端的設計與實現[D];南京大學;2014年

3 周克利;分布式文件系統中的若干關鍵算法研究[D];南京大學;2013年

4 董乾豪;通用可擴展的分布式文件系統性能測試框架研究與實現[D];南京大學;2016年

5 吳森;分布式文件系統小文件性能優(yōu)化技術研究[D];華中科技大學;2014年

6 胡夢楠;HDFS云存儲系統可用性能的優(yōu)化研究[D];電子科技大學;2016年

7 衣然;基于HDFS的云存儲關鍵技術研究[D];廣西大學;2015年

8 曾磊;一個高可用的分布式文件系統的設計和實現[D];東南大學;2016年

9 謝駿;海量數據存取服務系統設計與實現[D];國防科學技術大學;2014年

10 徐彪;面向分布式文件系統的基準測試框架研究與設計[D];杭州電子科技大學;2016年

，

本文編號：2075133